[發明專利]基于個性化半監督在線聯邦學習的用戶行為識別方法

有效

• 申請號: 202110766924.2
• 申請日: 2021-07-07
• 公開（公告）號: CN113298191B
• 公開（公告）日: 2022-09-06
• 發明（設計）人: 張嘯;于宏正
• 申請（專利權）人: 山東大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08
• 代理公司: 青島華慧澤專利代理事務所(普通合伙) 37247
• 代理人: 馬千會

本發明屬于智能設備用戶行為識別技術領域，具體涉及基于個性化半監督在線聯邦學習的用戶行為識別方法。基于半監督在線學習的個性化聯邦用戶行為識別方法，其特征在于，包括以下步驟：確定有標簽的客戶端和無標簽的客戶端；使用FedHAR算法進行在線半監督聯邦學習，訓練出泛化的神經網絡模型；對所述泛化的神經網絡模型進行個性化聯邦微調，獲得多模態個性化神經網絡模型。本發明使用半監督在線學習、聯邦學習框架，提出了個性化用戶行為識別方法，來解決真實場景下的行為識別問題及用于隱私問題。

技術領域

本發明屬于智能設備用戶行為識別技術領域，具體涉及基于個性化半監督在線聯邦學習的用戶行為識別方法。

背景技術

隨著傳感器技術的發展和手機計算能力的提升，基于智能手機傳感器的用戶行為識別成為近年來的研究熱點。用戶行為識別以手機或可穿戴設備傳感器原始數據作為輸入，通過識別算法預測用戶的運動行為。它在健康和運動監測、用戶生物特征簽名、城市計算、殘障人士輔助、老年看護以及室內定位等領域的應用中發揮著重要作用。目前大部分基于傳感器的用戶行為識別研究集中在對簡單行為的識別，在不少研究中，對特定的幾類簡單行為識別的準確率已經能達到95％以上。復雜行為識別任務涉及的面比較廣，識別的難度也較大，除了對各種肢體行為進行識別，復雜行為識別還涉及到對交通工具的識別，對周圍現實環境的識別，室內定位等許多方面。尤其是要使用戶行為識別方法能夠適用于現實場景，有四個挑戰需要解決，即隱私保護、標簽稀缺、實時性和異質性。目前關于該課題的研究還存在諸多不足。

發明內容

為了彌補現有技術中的缺陷，本發明提出了一種個性化的聯邦用戶行為識別框架來克服以上障礙。具體來說，框架利用聯邦學習在分布式環境下進行訓練，可以將訓練數據保存在本地以保護用戶的隱私。此外，對于每個沒有活動標簽的客戶端，基于一致性訓練，設計了一個計算無監督梯度的算法。此外，針對在線學習中的概念漂移和收斂不穩定性問題，提出了一種無監督梯度聚合策略。

本發明解決其技術問題采用的技術方案是：一種基于半監督在線學習的個性化聯邦用戶行為識別方法，其包括以下步驟：

步驟一：確定有標簽的客戶端和無標簽的客戶端；

步驟二：使用FedHAR算法進行在線半監督聯邦學習，訓練出泛化的神經網絡模型；

步驟三：對所述泛化的神經網絡模型進行個性化聯邦微調，獲得多模態個性化神經網絡模型。

作為本發明的一種優選方式，在步驟一中，任一有標簽客戶端中，具有一個本地數據集，其中數據中的樣本都是附有標簽的；任一無標簽客戶端都有一個數據流，數據流中的數據都是無標簽的。

進一步地，所述步驟二中，神經網絡結構由多層注意力層組成，自下向上依次為：第一層注意力層，將傳感器的一個時間窗口內的時序數據進行融合，根據時序數據內數據的重要程度進行加權平均；第二層注意力層，將多個設備內相同類型的傳感器中，由第一層注意力層提取出來的特征進行加權平均；第三層注意力層，將第二層提取出來的所有類別傳感器的特征進行加權平均，融合為一個向量；獲得的向量通過輸出層預測出標簽。

進一步地，所述步驟三中，使用PerFedHAR算法對步驟二中得到泛化神經網絡模型進行微調的步驟如下：

(1)確定無標簽客戶端m，初始化微調模型為泛化模型：F_m＝F，設置當前輪數為1；F表示泛化神經網絡模型；

(2)如果當前輪數小于設定的輪數R_m，進入下一步，否則進入步驟(9)；

(3)傳輸當前模型F_m到所有有標簽客戶端和無標簽客戶端m；

(4)對于每個有標簽客戶端，從本地數據庫取出一個批次的數據，算出梯度值對于無標簽客戶端m，使用無標簽客戶端的梯度計算方法，算出梯度記為