聯邦學習新探：端邊雲協同引領大模型訓練的未來 | INFOCOM 2024

可以帶來模型精度和收斂性的顯著提升

在人工智能領域，無論是從理論還是實踐的角度，如何在保護用戶隱私和數據安全的前提下，提高模型訓練的效率和質量，都是一個重要的研究焦點。

聯邦學習
（Federated Learning）就是一種能夠在不損害用戶隱私的前提下，訓練人工智能模型的技術。

隨着雲計算、邊緣計算和終端設備的發展，端邊雲協同
(End-Edge-Cloud協作)
計算範式的出現，爲聯邦學習算法的實施與部署提供了新的路徑。

由中國科學院計算技術研究所、中國科學院大學、中關村實驗室和北京交通大學的研究團隊共同完成的論文
聚合聯邦學習:通過端緣雲協作增強更大的模型訓練能力
，在INFOCOM 2024上提供了一個全新的視角，引領我們進入了聯邦學習和端邊雲協同的新紀元。

端邊雲協同是一種新興的計算範式，它藉助遠端雲數據處理中心、近端邊緣服務器和終端設備的分佈式算力，提供了一個高效、靈活和可擴展的計算框架。

在端邊雲協同的架構下，雲服務器、邊緣服務器和終端設備能夠充分發揮其各自的優勢。

雲服務器
有強大的計算能力，適合處理大規模的數據處理和模型訓練任務；
邊緣服務器
靠近用戶，可以處理時效性強、對延遲敏感的任務；
終端設備
則可以在保護用戶隱私的前提下，利用豐富的用戶數據進行本地化的模型訓練和優化。

在這種模式下，雲服務器、邊緣服務器和終端設備可以在不同的計算層級之間進行協作，共同承擔計算任務，提高整體的計算效率。

在這個背景下，作者探索瞭如何通過端邊雲協同來幫助聯邦學習處理更大模型的訓練任務。

本文作者提出了
凝聚聯邦學習
 
(聚合聯邦學習)
框架，該框架通過橋接樣本在線蒸餾協議
(橋式樣本在線蒸餾協議)
，遞歸地組織樹狀拓撲的端邊雲算力網，實現了端邊雲之間每對父子節點的模型無關
(模型不可知論者)
的協同訓練。

具體來說，低層級節點先用一個輕量級編碼器對本地數據進行編碼，再上傳編碼到上級節點；上級節點用一個預訓練好的解碼器對編碼生成僞樣本。不同層級節點之間的模型在這些僞樣本上進行在線蒸餾，逐層向上傳遞知識。

這樣，不同層節點可以根據本地算力資源訓練大小合適的模型，而云端集成所有知識後可以訓練規模顯著超過端側設備承載能力的模型。

此外，本文作者還
證明了該框架在端邊雲算力網中的靈活性
，即每一個非根節點算力節點均可在同一層級隨意切換接入的父節點，這爲算力網中單點宕機修復、負載均衡等操作提供了空間。

實驗結果表明，相比現有框架，凝聚聯邦學習可以帶來模型精度和收斂性的顯著提升。

論文地址：https://www.techrxiv.org/articles/preprint/Agglomerative_Federated_Learning_Empowering_Larger_Model_Training_via_End-Edge-Cloud_Collaboration/24720759

代碼鏈接：https://github.com/wuzhiyuan2000/FedAgg