[發(fā)明專利]基于個性化半監(jiān)督在線聯(lián)邦學習的用戶行為識別方法

有效

• 申請?zhí)枺?/td>: 202110766924.2
• 申請日: 2021-07-07
• 公開（公告）號: CN113298191B
• 公開（公告）日: 2022-09-06
• 發(fā)明（設計）人: 張嘯;于宏正
• 申請（專利權）人: 山東大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08
• 代理公司: 青島華慧澤專利代理事務所(普通合伙) 37247
• 代理人: 馬千會

1.一種基于半監(jiān)督在線學習的個性化聯(lián)邦用戶行為識別方法，其特征在于，包括以下步驟：

步驟一：確定有標簽的客戶端和無標簽的客戶端；

步驟二：使用FedHAR算法進行在線半監(jiān)督聯(lián)邦學習，訓練出泛化的神經(jīng)網(wǎng)絡模型；神經(jīng)網(wǎng)絡結構由多層注意力層組成，自下向上依次為：第一層注意力層，將傳感器的一個時間窗口內的時序數(shù)據(jù)進行融合，根據(jù)時序數(shù)據(jù)內數(shù)據(jù)的重要程度進行加權平均；第二層注意力層，將多個設備內相同類型的傳感器中，由第一層注意力層提取出來的特征進行加權平均；第三層注意力層，將第二層提取出來的所有類別傳感器的特征進行加權平均，融合為一個向量；獲得的向量通過輸出層預測出標簽；

步驟三：對所述泛化的神經(jīng)網(wǎng)絡模型進行個性化聯(lián)邦微調，獲得多模態(tài)個性化神經(jīng)網(wǎng)絡模型；使用PerFedHAR算法對步驟二中得到泛化神經(jīng)網(wǎng)絡模型進行微調的步驟如下：

(1)確定無標簽客戶端m，初始化微調模型為泛化模型：F_m＝F，設置當前輪數(shù)為1；F表示泛化神經(jīng)網(wǎng)絡模型；

(2)如果當前輪數(shù)小于設定的輪數(shù)R_m，進入下一步，否則進入步驟(9)；

(3)傳輸當前模型F_m到所有有標簽客戶端和無標簽客戶端m；

(4)對于每個有標簽客戶端，從本地數(shù)據(jù)庫取出一個批次的數(shù)據(jù)，算出梯度值對于無標簽客戶端m，使用無標簽客戶端的梯度計算方法，算出梯度記為

(5)服務器收到所有的從有標簽客戶端傳來的梯度以及從無標簽客戶端m的梯度之后，將所有的有標簽梯度進行平均；所有有標簽梯度的平均記為

(6)將監(jiān)督梯度和半監(jiān)督梯度進行加權算出最終梯度

(7)使用梯度對F_m更新,并將輪數(shù)加一；

(8)進入(2)；

(9)結束。

2.根據(jù)權利要求1所述的基于半監(jiān)督在線學習的個性化聯(lián)邦用戶行為識別方法，其特征在于，所述步驟一中，任一有標簽客戶端中，具有一個本地數(shù)據(jù)集，其中數(shù)據(jù)中的樣本都是附有標簽的；任一無標簽客戶端都有一個數(shù)據(jù)流，數(shù)據(jù)流中的數(shù)據(jù)都是無標簽的。

3.根據(jù)權利要求2所述的基于半監(jiān)督在線學習的個性化聯(lián)邦用戶行為識別方法，其特征在于，所述無標簽客戶端的梯度計算方法包括：

(1)接受從服務器端傳過來的泛化神經(jīng)網(wǎng)絡模型F；

(2)從存儲中取出上次保存的樣本x₁，若沒有則從當前數(shù)據(jù)流中獲取一個樣本賦給x₁；

(3)設置當前計數(shù)器t＝1，初始梯度

(4)如果則繼續(xù)執(zhí)行，否則進入(9)；

(5)從當前數(shù)據(jù)流中取出一個樣本記為x₂；

(6)使用模型F對進行預測x₁、x₂，預測值分別為y₁、y₂；

(7)更新梯度

(8)進入(4)；

(9)保存x₂到當前設備，返回梯度