[發明專利]一種可防御后門攻擊的聯邦學習圖像分類方法

在審

• 申請號: 202210036245.4
• 申請日: 2022-01-10
• 公開（公告）號: CN114494771A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 翟弟華;王永康;夏元清;詹玉峰;鄒偉東;劉坤;戴荔;吳楚格;郭澤華;李怡然;張元;張金會;閆莉萍;孫中奇;崔冰;高寒;楊辰;王力;史運濤;董哲
• 申請（專利權）人: 北京理工大學;北方工業大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/74;G06V10/762;G06V10/77;G06V10/82;G06K9/62;G06N3/08
• 代理公司: 北京理工大學專利中心 11120
• 代理人: 代麗

本發明公開了一種可防御后門攻擊的聯邦學習圖像分類方法，采用矩陣降維和聚類算法對Worker節點提交的梯度進行處理，最后選擇正常的Worker節點提交的梯度參與聚合，從而完全避免了后門植入全局模型的可能性，此外，本發明所用的方法是一種無監督方法，適用于聯邦學習場景，可廣泛應用在聯邦學習防御中，提高聯邦學習的魯棒性。

技術領域

本發明屬于機器學習安全的技術領域，具體涉及一種可防御后門攻擊的聯邦學習圖像分類方法。

背景技術

數據孤島和數據隱私是限制人工智能技術發展的主要因素之一。聯邦學習的提出突破了這一限制，聯邦學習是一類專門針對分布式數據的機器學習框架，模型訓練參與者可以在不共享數據的前提下協同訓練全局模型，在保證數據隱私的同時打破數據孤島，加速機器學習模型訓練，可適用于非平衡和非獨立同分布(non-Independent andIdentically Distributed,non-IID)的數據。許多的機器學習任務都可以利用聯邦學習的方式進行訓練，其中就包括了圖像分類任務。

在聯邦學習中，典型的訓練結構為包含服務器節點(Server)和工作節點(Worker)的參數服務器結構(Parameter Server，PS)。在利用PS結構進行模型訓練時，主要包括四個步驟：第一步，每個Worker節點收集用于本地訓練的圖像數據，同時從Server節點接收全局模型，利用接收的全局模型進行本地訓練，得到本地模型的梯度；第二步，Worker節點把本地模型的梯度發送給Server節點來進行全局模型更新；第三步，Server節點利用接收的各個Worker的梯度更新出下一輪迭代的全局模型，第四步，Server節點將更新后的全局模型廣播至所有Worker節點并開始下一次的迭代更新過程。在基于PS結構的聯邦學習中，Worker節點經常會部署在邊緣節點，而Server節點則部署于云端。

聯邦平均算法(Federated Average，FedAvg)是一種經典的聚合算法，其表達式為：

式中w_t為第t輪全局模型的參數更新，Δw_k為Worker節點k的梯度，K為參與聚合的Worker節點數量，n_k為Worker節點k的本地數據集的數據量，且有

Worker節點利用接收的最新全局模型，結合本地數據和訓練方法(例如Stochastic Gradient Descent，SGD)進行訓練，而后把梯度上傳給Server節點進行聚合。

然而，訓練數據的分布式和保護隱私特性使聯邦學習容易遭受攻擊。在聯邦學習中，最典型的攻擊方式是后門攻擊(Backdoor Attack)。在模型訓練過程中，攻擊者可把帶有后門的圖像數據添加到某個Worker節點的本地數據集中，該Worker節點利用被污染的本地數據進行訓練，后門則被植入到本地模型中，當Server節點利用該Worker節點的梯度進行全局模型更新時，后門則被植入到全局模型中，當利用全局模型進行圖像分類預測時，帶有后門的圖像樣本則被誤分類為攻擊者指定的類別。

在PS結構下，解決聯邦學習安全問題的主要方法之一是在Server節點設計有效的安全聚合算法，減弱甚至消除惡意參與者的影響，進而提高聯邦學習的魯棒性。目前，很多算法用于抵御聯邦學習中的后門攻擊，然而他們有很強的局限性。基于均值或中值的魯棒性算法面對超過一半數量的惡意攻擊者時則完全失效，且不適用于non-IID場景，代表性的算法有Multi-Krum、GeoMed和RFA等。此外，一些算法則需要模型梯度以外的信息訓練惡意檢測器模型或甄別攻擊者，違背了隱私保護原則，代表性的算法有Zeno和spectraldetector等。FoolsGold算法雖然適用于non-IID場景，且不需要假設惡意攻擊者的數量少于正常工作者，但是其高度依賴于機器學習模型的選擇，不同的機器學習模型會產生截然相反的結果。因此，眾多的優異的算法并不能解決聯邦學習中的后門攻擊問題。

發明內容