[發明專利]基于神經元激活值聚類的縱向聯邦學習后門防御方法

有效

• 申請號: 202210146719.0
• 申請日: 2022-02-17
• 公開（公告）號: CN114202397B
• 公開（公告）日: 2022-05-10
• 發明（設計）人: 林昶廷;韓蒙;熊海洋;陳晉音;紀守領
• 申請（專利權）人: 浙江君同智能科技有限責任公司
• 主分類號: G06Q30/06
• 分類號: G06Q30/06;G06K9/62;G06N3/08
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 曹兆霞

1.一種基于神經元激活值聚類的縱向聯邦學習后門防御方法，其特征在于，包括以下步驟：

構建包含多個參與方和一個協作方的縱向聯邦推薦系統，該縱向聯邦推薦系統用于通過縱向聯邦學習構建商品推薦模型；

進行縱向聯邦推薦系統的聯邦學習，包括：每個參與方利用本地商品樣本訓練本地模型，并上傳商品樣本對應的嵌入表示至協作方；協作方聚合所有參與方上傳的嵌入表示得到聚合嵌入表示，并獲得聚合嵌入表示在頂部模型的神經元激活值以構建商品導向鏈路，通過對商品導向鏈路進行聚類來篩選被后門攻擊的商品導向鏈路，同時根據聚類結果對后門攻擊的商品導向鏈路進行修復，依據修復后的商品導向鏈路進行頂部模型的參數更新，并將更新參數下傳至參與方進行下一輪聯邦學習；

提取聯邦學習結束的頂部模型作為能夠防御后門攻擊的商品推薦模型；

所述通過對商品導向鏈路進行聚類來篩選被后門攻擊的商品導向鏈路，包括：

基于頂部模型對輸入的聚合嵌入表示進行一次正向傳導計算得到的預測標簽，對聚合嵌入表示和對應的商品導向鏈路進行分類存儲；

針對每類預測標簽對應的所有聚合嵌入表示進行聚類，篩選包含聚合嵌入表示個數最小的聚類簇為第一異常聚類簇，并以第一異常聚類簇中包含的聚合嵌入表示個數與參與聚類的所有聚合嵌入表示個數的比值作為第一后門風險評分；

針對每類預測標簽對應的所有商品導向鏈路進行聚類，篩選包含商品導向鏈路個數最小的聚類簇為第二異常聚類簇，并以第二異常聚類簇中包含的商品導向鏈路個數與參與聚類的所有商品導向鏈路個數的比值作為第二后門風險評分；

針對每類預測標簽，綜合聚合嵌入表示對應的第一后門風險評分與商品導向鏈路對應的第二后門風險評分得到每類預測標簽對應的總后門風險評分；

總后門風險評分大于預設閾值時，認為第一異常聚類簇中的聚合嵌入表示為后門攻擊的聯合嵌入表示，同時認為第二異常聚類簇中商品導向鏈路為后門攻擊的商品導向鏈路。

2.根據權利要求1所述的基于神經元激活值聚類的縱向聯邦學習后門防御方法，其特征在于，協作方采用拼接操作聚合所有參與方上傳的嵌入表示得到聚合嵌入表示。

3.根據權利要求1所述的基于神經元激活值聚類的縱向聯邦學習后門防御方法，其特征在于，所述獲得聚合嵌入表示在頂部模型的神經元激活值以構建商品導向鏈路，包括：

利用頂部模型對輸入的聚合嵌入表示進行一次正向傳導計算，以得到正向傳導過程中頂部模型的每層神經元的激活值，提取每層激活值最大的神經元作為商品導向神經元，所有層的商品導向神經元按照正向傳導方向連接形成商品導向鏈路。

4.根據權利要求1所述的基于神經元激活值聚類的縱向聯邦學習后門防御方法，其特征在于，所述對聚合嵌入表示和對應的商品導向鏈路進行分類存儲，包括：

依據聚合嵌入表示的預測標簽構建商品索引查詢表，每類預測標簽對應商品索引查詢表的每一族，屬于相同類預測標簽的聯合嵌入表示和對應的商品導向鏈路被排列在同一族，以實現按照預測標簽的分類存儲。

5.根據權利要求1所述的基于神經元激活值聚類的縱向聯邦學習后門防御方法，其特征在于，在對每類預測標簽對應的所有聚合嵌入表示進行聚類時，隨機選擇兩個聚合嵌入表示作為初始聚類中心，依據的聚類距離為待聚類的聚合嵌入表示到聚類中心的歐幾里得距離與待聚類的聚合嵌入表示到聚類中心的余弦相似度距離之和，每輪聚類結束后，采用平均聚類算法按照聚類中所有聚合嵌入表示的維度平均數來更新聚類中心；

在對每類預測標簽對應的所有商品導向鏈路進行聚類時，隨機選擇兩個商品導向鏈路作為初始聚類中心，依據的聚類距離為待聚類的商品導向鏈路到聚類中心的歐幾里得距離與待聚類的商品導向鏈路到聚類中心的余弦相似度距離之和，每輪聚類結束后，采用平均聚類算法按照聚類中所有商品導向鏈路的維度平均數來更新聚類中心。