2024暑期iHUB·上海：人工智能 高性能計算專題： 分布式優(yōu)化算法在訓練以計算機視覺為例的深度學習神經網絡等系統(tǒng)中的應用研究【大學組】

專業(yè)：人工智能

項目類型：海外導師線下項目

開始時間：2024年07月20日

是否可加論文：是

項目周期：1周在線科研+14天面授科研+5周在線論文指導

語言：英文

有無剩余名額：余5位

建議學生年級：大學生

是否必需面試：否

適合專業(yè)：計算機科學電子與計算機科學深度學習計算機視覺

地點：上海圣華紫竹學院

建議選修：Python編程與數據處理

建議具備的基礎：人工智能/深度學習/計算機視覺/高性能計算/智能科學與技術等專業(yè)或對上述專業(yè)感興趣的學生； 學生需要具備微積分、線性代數、概率論與數理統(tǒng)計基礎，并能夠熟練使用Python編程。

產出：1周在線科研+14天面授科研+5周在線論文指導 項目報告 優(yōu)秀學員獲主導師Reference Letter EI/CPCI/Scopus/ProQuest/Crossref/EBSCO或同等級別索引國際會議全文投遞與發(fā)表指導（可用于申請） 結業(yè)證書 成績單

項目背景：機器學習（ML）和人工智能（AI）具有廣泛的社會應用價值。從運輸、能源、工業(yè)供應鏈等有形基礎設施到醫(yī)療和金融等無形服務，這些現代社會經濟發(fā)展的方方面面離不開機器學習和人工智能技術。傳統(tǒng)的機器學習一般是在單機或者集群上集中處理數據、訓練模型。為了在大規(guī)模的網絡應用場景中實現快速、高效的在線決策和訓練，去中心化機器學習，也就是分布式機器學習，逐漸受到學界更多關注。在通信和計算技術高速進步的今天，這一領域不斷取得矚目成果。在分布式機器學習這一領域中，聯合學習（Federated Learning，又名聯邦學習）成為了一個備受關注的焦點。聯合學習能產生更“聰明”的模型，延時更低，功耗更低，同時在用戶隱私保護及信息安全方面更加強大。在聯合學習中，多臺身處世界不同角落的設備可以協(xié)同學習一個共享的預測模型，并將所有的訓練數據獨立保存。這樣便實現了機器學習能力與數據“云存儲”需求的分離。由此，在移動設備上，我們不僅可以使用模型，還可以訓練模型，解決了以前只能通過云端下發(fā)訓練好的模型，而無法在本地進行訓練的問題。聯合學習已經在廣泛的分布式機器學習中實現了應用，包括醫(yī)療、金融服務和自動駕駛，并且是學術界和工業(yè)界持續(xù)研究和發(fā)展的主題。

項目介紹：課題面向對計算機、機器學習、人工智能領域感興趣的高中生和大學生，結合學生校內所學知識量身打造，將以獨立且完整的形式介紹聯合學習的基本內容。在本課題中，教授會從聯合學習的基礎領域開始講解，從監(jiān)督學習和訓練模型優(yōu)化切入，并逐漸從集中式機器學習向分布式機器學習進行過渡。課題將涵蓋聯合學習的基本架構和算法，介紹對聯合學習算法進行設計分析時所需的主要工具，講解現有的計算框架，并結合自動駕駛等案例體現聯合學習的實戰(zhàn)應用。針對未來有意從事人工智能、機器學習相關行業(yè)及科學研究的學生，本課題將提供必要準備和堅實基礎。The topic of decentralized machine learning and in particular federated learning is of immense practical and theoretical interest in the broad ML community. This course focuses on an overview of this emerging research area with a self-contained set of lectures focusing on key prerequisites such as supervised learning and optimization for model training. It introduces in a tutorial manner the transition to decentralized ML from centralized paradigms with illustrations and examples. The course is aimed at university students as well as high school students with an interest in computing and algorithms. Elementary matrix analysis and linear algebra are expected as prerequisites, however, the lectures will be self-contained to cater to a broad audience

項目大綱：監(jiān)督式機器學習和訓練方法簡介 Supervised Learning and Training: Introduction 機器學習優(yōu)化方法 Optimization for Training: Basics and Algorithms 分布式機器學習：架構和系統(tǒng)闡述 Distributed ML: Architectures and Formulations 聯邦學習：基本算法 Federated Learning: Basic Algorithms 聯邦學習：高級分析和計算工具 Federated Learning: Advanced Analysis and Computational Tools 項目回顧與成果展示 Program Review and Presentation 論文輔導 Project Deliverables Tutoring