[發(fā)明專利]一種基于聯(lián)邦學(xué)習(xí)的多模態(tài)生物特征識別方法

在審

• 申請?zhí)枺?/td>: 202310944402.6
• 申請日: 2023-07-31
• 公開（公告）號: CN116665319A
• 公開（公告）日: 2023-08-29
• 發(fā)明（設(shè)計(jì)）人: 康文雄;陳光;連楓釗;黃俊端;楊偉利
• 申請（專利權(quán)）人: 華南理工大學(xué)
• 主分類號: G06V40/70
• 分類號: G06V40/70;G06N20/20;G06V10/762;G06V10/774;G06V10/80;G06V10/82
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司 44102
• 代理人: 江裕強(qiáng)

1.一種基于聯(lián)邦學(xué)習(xí)的多模態(tài)生物特征識別方法，其特征在于，包括以下步驟：

第一步、各個(gè)參與方利用自身訓(xùn)練數(shù)據(jù)對初始模型訓(xùn)練后形成本地初始模型，并將本地初始模型發(fā)送到服務(wù)方服務(wù)器；

第二步、服務(wù)方獲得各個(gè)參與方的模型參數(shù)后，將個(gè)各模型的參數(shù)分別進(jìn)行聚類計(jì)算，形成某一模態(tài)中各自不同的簇，隨機(jī)抽取每一簇內(nèi)的多個(gè)參與方，抽取的參與方內(nèi)利用本地?cái)?shù)據(jù)訓(xùn)練本地初始模型，再將同簇本地初始模型發(fā)送到服務(wù)方，在服務(wù)方進(jìn)行參數(shù)匯聚，得到不同簇的同模態(tài)模型，不同簇的同模態(tài)模型組成同模態(tài)模型組；所述同模態(tài)模型組包括多種生物特征識別模態(tài)的模型；

第三步、服務(wù)方利用多模態(tài)模型生成器對同模態(tài)模型組按照不同的模態(tài)進(jìn)行融合生成可互補(bǔ)多模態(tài)模型組，所述可互補(bǔ)多模態(tài)模型組包括多種多模態(tài)模型；

第四步、服務(wù)方根據(jù)對應(yīng)的參與方所具備的模態(tài)，將可互補(bǔ)多模態(tài)模型組的多模態(tài)模型互補(bǔ)的發(fā)送到參與方，同時(shí)將同模態(tài)模型發(fā)互補(bǔ)的發(fā)給參與方；所述互補(bǔ)為多模態(tài)模型中沒有融合的同模態(tài)模型；

第五步、參與方采用多模態(tài)模型分?jǐn)?shù)融合的方法，將本地初始模型、同模態(tài)模型和多模態(tài)模型進(jìn)行融合，形成用于識別的多模態(tài)融合模型；

第六步、參與方利用本地?cái)?shù)據(jù)對多模態(tài)融合模型進(jìn)行本地優(yōu)化迭代；

第七步、返回第一步訓(xùn)練進(jìn)行下一輪迭代，持續(xù)進(jìn)行迭代。

2.根據(jù)權(quán)利要求1所述的一種基于聯(lián)邦學(xué)習(xí)的多模態(tài)生物特征識別方法，其特征在于，服務(wù)方利用聚類算法對參與方的模型參數(shù)進(jìn)行聚類分析：將同模態(tài)的各個(gè)參與方分成不同的簇，然后在同一個(gè)簇內(nèi)，采用聯(lián)邦學(xué)習(xí)方法將參與方和服務(wù)方的模型參數(shù)進(jìn)行迭代優(yōu)化，優(yōu)化后對同模態(tài)的各個(gè)簇的模型參數(shù)進(jìn)行平均聚合，形成同模態(tài)模型組。

3.根據(jù)權(quán)利要求1所述的一種基于聯(lián)邦學(xué)習(xí)的多模態(tài)生物特征識別方法，其特征在于，聯(lián)邦學(xué)習(xí)方法包括fedavg方法及fedSGD方法。

4.根據(jù)權(quán)利要求1所述的一種基于聯(lián)邦學(xué)習(xí)的多模態(tài)生物特征識別方法，其特征在于，所述多種生物特征識別模態(tài)的模型包括人臉、指靜脈、虹膜、指紋、掌紋、筆跡、步態(tài)同態(tài)識別模型。

5.根據(jù)權(quán)利要求1所述的一種基于聯(lián)邦學(xué)習(xí)的多模態(tài)生物特征識別方法，其特征在于，所述可互補(bǔ)多模態(tài)模型為將某一模態(tài)補(bǔ)集的多種生物特征識別模型融合形成的模型。

6.根據(jù)權(quán)利要求1所述的一種基于聯(lián)邦學(xué)習(xí)的多模態(tài)生物特征識別方法，其特征在于，第五步所述的融合是根據(jù)不同的參與方實(shí)際參與訓(xùn)練的數(shù)據(jù)量和配置，計(jì)算本地初始模型、同模態(tài)模型和多模態(tài)模型各自的權(quán)重，每個(gè)模型各自的權(quán)重包括預(yù)設(shè)權(quán)重和訓(xùn)練樣本權(quán)重，預(yù)設(shè)權(quán)重和訓(xùn)練樣本權(quán)重范圍均為[0,1]。

7.根據(jù)權(quán)利要求1所述的一種基于聯(lián)邦學(xué)習(xí)的多模態(tài)生物特征識別方法，其特征在于，計(jì)算本地初始模型、同模態(tài)模型和多模態(tài)模型各自的權(quán)重包括以下步驟：

（1）、計(jì)算訓(xùn)練樣本占總訓(xùn)練樣本的比例，包括參與方本地初始模型占總訓(xùn)練樣本的比例、同模態(tài)模型匯聚參與方的本地訓(xùn)練樣本占總訓(xùn)練樣本比例和多模態(tài)模型匯聚參與方的本地訓(xùn)練樣本占總訓(xùn)練樣本比例：

（1）

（2）

（3）

其中為參與方本地參與模型訓(xùn)練的樣本數(shù)；為同模態(tài)模型的所有參與方參與模型訓(xùn)練的樣本數(shù)；為多模態(tài)融合模型的所有參與方參與模型訓(xùn)練的樣本數(shù)；為參與方本地訓(xùn)練樣本數(shù)占總樣本數(shù)比例；為同模態(tài)模型的所有參與方參與模型訓(xùn)練的樣本數(shù)占總樣本數(shù)比例；為多模態(tài)融合模型的所有參與方參與模型訓(xùn)練的樣本數(shù)占總樣本數(shù)比例，總樣本數(shù)為++；

（2）、將設(shè)定的本地初始模型、同模態(tài)模型和多模態(tài)模型的權(quán)重初值與訓(xùn)練樣本占總訓(xùn)練樣本的比例平均，得出模型對應(yīng)的權(quán)值參數(shù)比例分別為、；

（3）、按照加權(quán)平均的方法計(jì)算在參與方所需的多模態(tài)融合模型的分值F，并通過人工設(shè)定閾值確定識別結(jié)果：

（4）

其中，為最終識別結(jié)果分?jǐn)?shù)來自于參與方輸入的驗(yàn)證圖像數(shù)據(jù)通過模型后得到的分值；為在參與方分?jǐn)?shù)層第i個(gè)模型的計(jì)算權(quán)值參數(shù)；_i為第i個(gè)參與分?jǐn)?shù)融合的模型各自識別的分值；i為參與分?jǐn)?shù)融合的模型的編號，iM，M表示模型的數(shù)量。