[發(fā)明專利]一種基于聯(lián)邦學(xué)習(xí)的多用戶協(xié)同訓(xùn)練人流統(tǒng)計(jì)方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110559687.2
• 申請(qǐng)日: 2021-05-21
• 公開（公告）號(hào): CN113033712B
• 公開（公告）日: 2021-09-14
• 發(fā)明（設(shè)計(jì)）人: 周潘;孫裕華;謝雨來;李瑞軒;陳琪美;江昊
• 申請(qǐng)（專利權(quán)）人: 華中科技大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 武漢藍(lán)寶石專利代理事務(wù)所(特殊普通合伙) 42242
• 代理人: 嚴(yán)超

1.一種基于聯(lián)邦學(xué)習(xí)的多用戶協(xié)同訓(xùn)練人流統(tǒng)計(jì)方法，通過聯(lián)合多種異構(gòu)設(shè)備協(xié)同訓(xùn)練同一種神經(jīng)網(wǎng)絡(luò)架構(gòu)，并實(shí)現(xiàn)分布式實(shí)施監(jiān)控統(tǒng)計(jì)人流量，其特征在于，包括以下步驟：

S1，各個(gè)客戶端利用圖像數(shù)據(jù)集對(duì)圖像分類網(wǎng)絡(luò)進(jìn)行本地訓(xùn)練以獲取本地模型；

S2，在各個(gè)客戶端經(jīng)過至少一次本地訓(xùn)練后，中心服務(wù)器從客戶端獲取本地模型的權(quán)值參數(shù)及附加層參數(shù)并進(jìn)行聚合處理；參與聚合處理的客戶端數(shù)量少于或等于客戶端總數(shù)；

S3，中心服務(wù)器利用聚合處理后的權(quán)值參數(shù)及附加層參數(shù)更新全局模型，并將聚合處理后的權(quán)值參數(shù)及附加層參數(shù)返回給各個(gè)客戶端；

S4，各個(gè)客戶端利用中心服務(wù)器返回的權(quán)值以及ground truth值進(jìn)行貝葉斯估計(jì)，計(jì)算得到loss值，并利用中心服務(wù)器返回的權(quán)值參數(shù)及附加層參數(shù)更新本地模型；

S5，重復(fù)執(zhí)行步驟S1~S4，直至所有客戶端的loss值均收斂，則完成人流統(tǒng)計(jì)全局模型和本地模型的訓(xùn)練；

所述的中心服務(wù)器從各個(gè)客戶端獲取本地模型的權(quán)值參數(shù)及附加層參數(shù)并進(jìn)行聚合處理，包括：

設(shè)表示進(jìn)行第t次訓(xùn)練后各個(gè)客戶端的本地模型的權(quán)值構(gòu)成的向量，表示客戶端k的本地模型的權(quán)值；

則聚合處理后的輸出值為：

式中，c表示參與當(dāng)前輪次訓(xùn)練的總數(shù)據(jù)量，c_k表示第k個(gè)用戶當(dāng)前輪次訓(xùn)練的數(shù)據(jù)量，K表示系統(tǒng)包含的所有客戶端數(shù)量。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，模型訓(xùn)練時(shí)，在步驟S1之前還包括，按照客戶端數(shù)量對(duì)圖像數(shù)據(jù)集進(jìn)行等分，并作為本地?cái)?shù)據(jù)集分配給各個(gè)客戶端。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述的步驟S1包括：

各個(gè)客戶端通過雙線性插值方法將數(shù)據(jù)集中的圖像壓縮至原始大小的1/8；隨后客戶端將壓縮后的圖像經(jīng)過轉(zhuǎn)兩個(gè)3*3卷積層轉(zhuǎn)換成特征值，作為MSRA初始化參數(shù)。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述的利用中心服務(wù)器返回的權(quán)值以及ground truth值進(jìn)行貝葉斯估計(jì)，計(jì)算得到loss值，包括：

令：表示一張密度圖中第i個(gè)像素點(diǎn)，i取值[1,M]，M為正整數(shù)；

表示對(duì)一張密度圖進(jìn)行標(biāo)記的第n個(gè)標(biāo)記位，n取值[1,N]，N為正整數(shù)；

表示像素點(diǎn)處且在標(biāo)記點(diǎn)下的人頭數(shù)；

為后驗(yàn)證標(biāo)記概率；表示已知概率密度；

針對(duì)客戶端j，通過下式計(jì)算損失函數(shù)得到loss值：

式中，表示距離函數(shù)，代表每個(gè)標(biāo)記點(diǎn)的地面真實(shí)計(jì)數(shù)，即對(duì)每張圖片人為統(tǒng)計(jì)的人流數(shù)量，

表示的期望，表示標(biāo)記點(diǎn)的人頭總數(shù)。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，步驟S4中所述的利用中心服務(wù)器返回的權(quán)值參數(shù)及附加層參數(shù)更新本地模型，包括：

采用隨機(jī)梯度下降方法，根據(jù)下式更新本地參數(shù)：

式中，η表示隨機(jī)梯度下降算法的學(xué)習(xí)率，和分別表示第t+1次和第t次訓(xùn)練時(shí)的本地模型權(quán)值參數(shù)和附加層參數(shù)。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述的隨機(jī)梯度下降算法，以批量大小為B=1，學(xué)習(xí)率為η=0.00005的本地歷元數(shù)E=100為目標(biāo)，對(duì)本地模型進(jìn)行訓(xùn)練。