[發(fā)明專利]基于分布式時(shí)空連續(xù)學(xué)習(xí)的行人重識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202211265027.4
• 申請(qǐng)日: 2022-10-17
• 公開（公告）號(hào): CN115471793A
• 公開（公告）日: 2022-12-13
• 發(fā)明（設(shè)計(jì)）人: 張磊;高冠宇
• 申請(qǐng)（專利權(quán)）人: 南京理工大學(xué)
• 主分類號(hào): G06V20/52
• 分類號(hào): G06V20/52;G06V10/44;G06V10/762;G06V10/774;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 南京合礪專利商標(biāo)代理事務(wù)所(普通合伙) 32518
• 代理人: 鮑小龍

本發(fā)明公開了一種基于分布式時(shí)空連續(xù)學(xué)習(xí)的行人重識(shí)別方法，該方法在分布式邊緣計(jì)算網(wǎng)絡(luò)節(jié)點(diǎn)及邊緣設(shè)備上部署行人重識(shí)別模型，實(shí)現(xiàn)對(duì)行人特征進(jìn)行連續(xù)學(xué)習(xí)，結(jié)合分布式時(shí)空特征定向分享模型知識(shí)，根據(jù)真實(shí)的場景持續(xù)優(yōu)化分布式行人重識(shí)別模型。本發(fā)明根據(jù)分布式計(jì)算網(wǎng)絡(luò)中的節(jié)點(diǎn)位置和邊緣設(shè)備部署行人重識(shí)別模型，該模型包括特征提取模塊和動(dòng)態(tài)學(xué)習(xí)模塊，各個(gè)邊緣節(jié)點(diǎn)上特征提取模塊訓(xùn)練、識(shí)別方式相同，通過動(dòng)態(tài)學(xué)習(xí)模塊實(shí)現(xiàn)不同節(jié)點(diǎn)之間模型知識(shí)的共享，其中動(dòng)態(tài)學(xué)習(xí)模塊還劃分為基本權(quán)重、自適應(yīng)權(quán)重以及注意力權(quán)重來實(shí)現(xiàn)分布式的知識(shí)聚合和模型更新。

技術(shù)領(lǐng)域

本發(fā)明涉及邊緣計(jì)算和計(jì)算機(jī)視覺技術(shù)領(lǐng)域，具體涉及一種基于分布式時(shí)空連續(xù)學(xué)習(xí)的行人重識(shí)別方法。

背景技術(shù)

行人重識(shí)別是一種從不同時(shí)空攝像頭采集的行人圖片中，檢索出目標(biāo)行人的方法。行人重識(shí)別技術(shù)廣泛應(yīng)用于視頻安防、嫌疑人追蹤和智慧城市等領(lǐng)域。

在真實(shí)環(huán)境中部署行人重識(shí)別，往往存在數(shù)據(jù)漂移問題，從而使行人重識(shí)別的識(shí)別和檢索準(zhǔn)確率大范圍下降。數(shù)據(jù)漂移的問題主要由以下因素造成，首先部署環(huán)境中數(shù)據(jù)樣本的特征和模型訓(xùn)練樣本的特征有較大差異，模型對(duì)真實(shí)環(huán)境的適應(yīng)能力不足。其次，視頻場景中光照、能見度等一些不可控的環(huán)境因素在不斷改變，模型缺乏對(duì)動(dòng)態(tài)環(huán)境的自適應(yīng)能力。以上不利因素使得行人重識(shí)別技術(shù)很難長期有效地部署在現(xiàn)實(shí)環(huán)境中。此外，社會(huì)生活中人們對(duì)隱私安全和信息保護(hù)已經(jīng)越發(fā)重視。傳統(tǒng)的集中式行人重識(shí)別需要將多個(gè)攝像頭所采集的視頻進(jìn)行傳輸和存儲(chǔ)，這不僅會(huì)造成大量的網(wǎng)絡(luò)帶寬浪費(fèi)，而且還存在隱私泄露的風(fēng)險(xiǎn)。

考慮到上述所有的不利因素，在現(xiàn)實(shí)環(huán)境中部署行人重識(shí)別所遇到的困難，主要包括以下三點(diǎn)：

(1)涉及到數(shù)據(jù)隱私的問題，如何能夠在邊緣端完成行人重識(shí)別的自動(dòng)學(xué)習(xí)任務(wù)，從而避免傳輸行人照片等隱私數(shù)據(jù)到服務(wù)器。

(2)考慮到真實(shí)部署環(huán)境不斷改變的問題，如何能夠讓邊緣端模型自動(dòng)學(xué)習(xí)新場景的行人特征，從而保證行人重識(shí)別任務(wù)能夠在長期部署中始終高效可用。

(3)考慮多個(gè)邊緣端設(shè)備的存在，如何有效地分享各個(gè)時(shí)間和空間中邊緣模型學(xué)習(xí)到的知識(shí)，從而進(jìn)一步提高多個(gè)邊緣模型的魯棒性。

發(fā)明內(nèi)容

發(fā)明目的：針對(duì)上述在真實(shí)部署場景中存在的邊緣模型連續(xù)學(xué)習(xí)能力缺失、跨邊緣模型知識(shí)共享能力不充分的問題，本發(fā)明提供了基于分布式時(shí)空連續(xù)學(xué)習(xí)的行人重識(shí)別方法。

技術(shù)方案：一種基于分布式時(shí)空連續(xù)學(xué)習(xí)的行人重識(shí)別方法，該方法在分布式邊緣計(jì)算地網(wǎng)絡(luò)節(jié)點(diǎn)及邊緣設(shè)備上部署行人重識(shí)別模型，實(shí)現(xiàn)對(duì)行人特征在本地進(jìn)行連續(xù)學(xué)習(xí)，結(jié)合分布式時(shí)空特征定向遷移模型知識(shí)，根據(jù)真實(shí)的場景持續(xù)優(yōu)化分布式行人重識(shí)別模型，其特征在于：

(1)組建具有分布式部署和跨時(shí)空連續(xù)學(xué)習(xí)能力的行人重識(shí)別模型，對(duì)于每個(gè)邊緣節(jié)點(diǎn)i(i∈C)，所述行人重識(shí)別模型對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)包括特征提取模塊G_i和動(dòng)態(tài)學(xué)習(xí)模塊F_i；

其中，所述的特征提取模塊G_i的權(quán)重由ImageNet預(yù)訓(xùn)練的卷積網(wǎng)絡(luò)模型進(jìn)行初始化；所述的動(dòng)態(tài)學(xué)習(xí)模塊F_i的卷積權(quán)重θ_i分解為基本權(quán)重B_i、自適應(yīng)權(quán)重A_i以及注意力權(quán)重α_i；

(2)當(dāng)邊緣節(jié)點(diǎn)i(i∈C)在某段時(shí)間t(t＝1,2,…)內(nèi)出現(xiàn)漂移數(shù)據(jù)時(shí)，利用特征提取模塊G_i提取漂移數(shù)據(jù)的特征P_i^(t)和特征平均值并發(fā)送到參數(shù)服務(wù)器中；

(3)參數(shù)服務(wù)器將來自不同時(shí)間和空間的漂移數(shù)據(jù)特征進(jìn)行跨時(shí)空的多尺度聚類，對(duì)于不同時(shí)間段t,t′以及邊緣節(jié)點(diǎn)i,j的數(shù)據(jù)特征計(jì)算其多尺度特征距離