廈門大學站回顧｜大模型時代的聯邦學習详情 - 模型,學習,活動,開源隱語SecretFlow 日志

“隱語”是開源的可信隱私計算框架，內置 MPC、TEE、同態等多種密態計算虛擬設備供靈活選擇，提供豐富的聯邦學習算法和差分隱私機制。

開源項目：
https://github.com/secretflow
https://gitee.com/secretflow

4月27日，由「廈門大學安全智能計算實驗室」發起，聯合「隱語開源社區」、「福建省智慧城市感知與計算重點實驗室」共同舉辦的「廈門大學 x 隱語開源社區 Meetup」圓滿收官。本次活動由廈門大學信息學院副教授羅曄主持，來自廈門大學、螞蟻集團、鍩葳科技及隱語社區貢獻者們圍繞大模型時代的聯邦學習展開了學術探索研究、產業落地、社區貢獻實踐等多維度分享。分享後，分享嘉賓與來自廈門大學的同學們及廈門當地企業的參會用户與進行深度溝通與交流。

温故而知新，精彩乾貨分享來啦～

精彩內容回顧

《可信聯邦學習與行業大模型應用初探》

範曉亮數字福建城市交通大數據研究所（廈門大學）常務副所長
範曉亮老師從隱私保護與價值發現的困境出發，引入可信聯邦學習價值基礎算法探索，並介紹其團隊在該領域所探索的理論成果和技術實踐，並介紹在聯邦學習大模型的最新成果及在全域交通感知上聯邦學習大模型實際應用。最後，範老師還表達了希望和螞蟻集團、隱語團隊共同探索聯邦學習大模型的未來期望。
👉精彩演講視頻回顧

《隱語聯邦學習框架及聯邦大模型安全探索》

黃煒螞蟻集團算法專家

黃煒分享了隱語團隊對聯邦大模型的探索，從現階段聯邦大模型存在的包括惡意服務端會竊取微調參數並從中推斷客户端的數據等問題出發，提出了聯邦大模型參數可控的分佈式訓練，主要目標是使得任何參與方都無法獲取聯邦通信參數。並詳細解讀了提出的兩個可行解決方案的核心設計思路與具體模型效果，成功解決了大模型聯邦學習訓練過程中參數泄漏帶來的安全風險。
👉精彩演講視頻回顧

《面向長尾數據的聯邦學習》

盧楊廈門大學信息學院助理教授

盧楊老師通過淺顯易懂的案例提出了數據不平衡所帶來的問題，從而引出長尾學習的概念和其發展歷史。聯邦學習的數據異構也會引發類似的問題：在聯邦學習中，長尾數據會使得客户端的數據不平衡和全局數據不平衡是不一致的，且基於隱私保護，客户端無法知道全局數據存在不平衡。盧老師介紹了其團隊在這一領域的探索成果，通過藉助一小部分從客户端收集的平衡數據，訓練 FedAvg 模型的每一個組件，從而提出了 CReFF 方法，首次克服了聯邦學習場景下的長尾數據所帶的問題。在此基礎上，盧楊老師團隊基於預訓練模型 CLIP，提出了 CLIP2FL 方法，更進一步解決了面向長尾數據的聯邦學習的問題。
👉精彩演講視頻回顧

《醫療場景下的聯邦學習技術探索與實踐落地》

孫琪杭州鍩崴信息科技有限公司算法科學家

聯邦學習在醫療科研領域具有廣泛應用前景，但是在具體場景中也存在一些挑戰。單細胞 RNA 測序（scRNA-seq）的出現徹底改變了我們對生物組織中細胞異質性和複雜性的理解。日益嚴苛的隱私法規以及scRNA-seq 數據集龐大而稀疏的性質限制了我們對細胞的高效識別。鍩崴科技算法科學家孫琪介紹了其團隊開發的 scFed 技術框架，該框架可以在確保隱私安全的前提下對數據進行分析評估，其準確度與傳統的中心化模型相當，展現了聯邦學習在隱私保護和協作生物醫學研究方面的潛力。接着，鍩崴科技產業研究院院長李幟向大家介紹了鍩崴科技及其和隱語團隊的合作。👉精彩演講視頻回顧

隱語社區貢獻者實踐分享

本次活動也有來自廈門大學的同學們分享了在隱語社區的開源貢獻與學術研究結合的成果。廈門大學信息學院本科生翁燕冰分享了其和廈門大學信息學院安竹琳同學在羅曄教授的指導下，基於隱語進行的本科畢設項目《基於 SecretFlow 實現聯邦學習策略算法 FedPAC》的項目進度及收穫。廈門大學信息學院碩士生黃逸桐、陳雨帆分享了其在隱語開源共建計劃（OSCP）中，參與貢獻「在 SecretFlow 中實現經典聯邦策略 & 個性化聯邦策略」的實現過程，並表達了參與開源貢獻使其從理論到實踐都有了實質性進步，並深化了對隱私計算和聯邦學習的認識，領悟到其和隱私保護之間的緊密聯繫。