[發明專利]一種基于聯邦學習的多模態生物特征識別方法

在審

• 申請號: 202310944402.6
• 申請日: 2023-07-31
• 公開（公告）號: CN116665319A
• 公開（公告）日: 2023-08-29
• 發明（設計）人: 康文雄;陳光;連楓釗;黃俊端;楊偉利
• 申請（專利權）人: 華南理工大學
• 主分類號: G06V40/70
• 分類號: G06V40/70;G06N20/20;G06V10/762;G06V10/774;G06V10/80;G06V10/82
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 江裕強

本發明涉及數據融合處理技術領域，提供了一種基于聯邦學習的多模態生物特征識別方法。該方法包括：將初始模型發送至多個參與方，各個參與方利用自身訓練數據對初始模型訓練后形成本地初始模型；服務器將個各模型的參數進行聚類，抽取每一簇內的多個參與方，參與方利用本地數據訓練本地初始模型，將本地初始模型與服務方簇內的模型進行參數匯聚；服務方對同模態模型組按照不同的模態進行融合生成可互補多模態模型組；服務方將可互補多模態模型組的多模態模型互補的發送到參與方，同時將同模態模型發互補的發給參與方；參與方采用多模態模型分數融合的方法，將本地初始模型、同模態模型和多模態模型進行融合形成參與方所需的多模態融合模型。

技術領域

本發明涉及融合數據處理技術領域，尤其涉及一種基于聯邦學習的多模態生物特征識別方法。

背景技術

生物特征模態的多模態生物特征識別現在已知的包括：人臉、指靜脈、虹膜、指紋、掌紋、筆跡、步態等，但是各種模態在不同場景條件下，在可獲取性、易用性和安全性等方面存在差異。多模態生物特征識別可以充分利用各個模態特征取長補短，實現在較廣泛場景下的基于生物特征識別的身份認證系統應用。在生物特征識別領域是按照融合的信息特點對多模態生物特征識別融合進行等級劃分。

傳感器級融合:從不同傳感器源獲得數據的原始數據，對原始數據進行融合處理。例如：掌靜脈多鏡頭數據拼接形成完整圖像、通過多個傳感器采集指靜脈融合形成3D指靜脈數據等。

特征級融合:在提取生物特征數據后采用算法模型計算出數據特征，多個數據特征之間如果相互獨立，則可以通過計算融合各個數據特征成為一個數據特征。這個計算融合后的數據特征可以是增加數據維度、保持數據維度和減少數據維度三種形式，需要根據實際需要進行選擇。特征級的融合方式并不是對所有情況都能適用。

分數級融合:從提取數據特征與數據特征模板進行比對得出比對分數，通過特定算法融合各方的比對分數。據研究報告成這個層級融合方式比分類的方法性能更好，并已經有許多融合計算方法，也是文獻中最廣泛的融合方式。

決策級融合:將已經有識別驗證結果各方決策進行融合，形成最終決策。常見的方式就是投票選舉法，作為最終結果中使用。

近年，個性化聯邦學習(PFL)也逐步成為研究人員的關注點，其是介于全局數據訓練模型和本地數據訓練模型范式的中間范式。聯邦學習系統與個性化面臨的三個挑戰：（1)對于“云-邊-端”系統中存儲單元、計算單元和通信單元在性能等方面的差異；(2）參與方的數據non-IID分布的數據異質性問題；（3）不同參與方根據其環境特定模型情況而產生的模型差異需求。PFL方法可以分為基于數據和基于模型的兩類方法來組織它們。基于數據的方法意在減少模型與參與者數據的統計異質性，基于模型方法則著重于構建滿足不同訴求的模型減少統計異質性和模型異質性的問題。由于系統設計針對單模態的人臉進行訓練，針對人臉這種數據量比較大的生物特征識別算法進行訓練，沒有辦法訓練多模態的模型（Federated_Learning_for_Face_Recognition）。

現在聯邦學習中對于模型的聚合方式主要采用FedSDG，FedAvg的方法進行計算。對于參與方匯聚到服務方的模型參數是在non-iid的數據條件下進行訓練，同模態的各個參與方的數據都是從不同生產商設備商采集的，對應的模型的分布會存在較大的差異。現有技術（Federated?Face?Recognition）由一個由服務器、3個訓練器和2個驗證器組成的部署。每個訓練器用一組私有訓練數據對骨干和分類器進行訓練，并定期將其模型與服務器同步。我們將所有訓練器的集合記為T，訓練數據記為X1…|T|。對分類器和骨干的動量優化是不同的,服務器聚合所有的局部骨干變成一個全球骨干和主保持全球動量，然后將全球骨干和動量發送給每個訓練器，同時，服務器通過將其發送到驗證器來反復測試聚合的隨機候選權重，如果找到更好的權重，則調整當前的權重。每個驗證器根據其私有評估數據對從服務器接收到的模型進行評分，并重復發送回評分。

發明內容