[發(fā)明專利]一種基于深度學(xué)習(xí)技術(shù)分析多目標(biāo)對象行為的方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202011382800.6
• 申請日: 2020-12-01
• 公開（公告）號: CN112507835B
• 公開（公告）日: 2022-09-20
• 發(fā)明（設(shè)計(jì)）人: 高博;楊景明;宋浩誠;呼子宇
• 申請（專利權(quán)）人: 燕山大學(xué)
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/764;G06V10/82;G06T7/246;G06N3/04;G06N3/08
• 代理公司: 北京聿華聯(lián)合知識產(chǎn)權(quán)代理有限公司 11611
• 代理人: 張文娟

1.一種基于深度學(xué)習(xí)技術(shù)分析多目標(biāo)對象行為的方法，其特征在于，所述方法包括：

步驟S1、采集包含至少一個(gè)對象的視覺媒體數(shù)據(jù)，其中所述視覺媒體數(shù)據(jù)包括：含目標(biāo)對象的圖像數(shù)據(jù)、視頻數(shù)據(jù)以及動(dòng)畫數(shù)據(jù)；

步驟S2、基于所述視覺媒體數(shù)據(jù)利用目標(biāo)檢測網(wǎng)絡(luò)對當(dāng)前幀各目標(biāo)對象進(jìn)行定位；

步驟S3、綜合全卷積孿生網(wǎng)絡(luò)和重識別網(wǎng)絡(luò)跟蹤識別定位后的當(dāng)前幀各目標(biāo)對象，獲取各目標(biāo)對象的跟蹤結(jié)果序列；

步驟S4、根據(jù)所述跟蹤結(jié)果序列生成各目標(biāo)對象對應(yīng)時(shí)間段內(nèi)的骨骼節(jié)點(diǎn)序列，并基于其利用時(shí)空圖卷積網(wǎng)絡(luò)自動(dòng)識別各目標(biāo)對象的行為分析結(jié)果序列；

所述方法還包括：在步驟S3之前，利用多任務(wù)學(xué)習(xí)方法融合全卷積孿生網(wǎng)絡(luò)和重識別網(wǎng)絡(luò)，構(gòu)建多目標(biāo)融合跟蹤網(wǎng)絡(luò)，其中，設(shè)置所述全卷積孿生網(wǎng)絡(luò)和重識別網(wǎng)絡(luò)采用相同的主干網(wǎng)絡(luò)；

在所述步驟S3中，包括：

利用全卷積孿生網(wǎng)絡(luò)對當(dāng)前幀定位后的各目標(biāo)對象進(jìn)行識別，提取對應(yīng)的特征圖和特征數(shù)據(jù)，進(jìn)而通過基于表征學(xué)習(xí)的重識別網(wǎng)絡(luò)提取各幀目標(biāo)對象特征圖的特征向量，并將上下幀的特征向量進(jìn)行關(guān)聯(lián)匹配，構(gòu)建設(shè)定時(shí)間段內(nèi)各目標(biāo)對象的跟蹤結(jié)果序列。

2.如權(quán)利要求1所述的方法，其特征在于，在所述步驟S2中，利用目標(biāo)檢測網(wǎng)絡(luò)檢測視覺媒體數(shù)據(jù)中當(dāng)前幀的各目標(biāo)對象圖像，并根據(jù)檢測結(jié)果為各目標(biāo)對象圖像設(shè)置定位邊界框信息。

3.如權(quán)利要求1所述的方法，其特征在于，在所述步驟S3中，利用全卷積孿生網(wǎng)絡(luò)對當(dāng)前幀定位后的各目標(biāo)對象進(jìn)行識別的過程中，所述全卷積孿生網(wǎng)絡(luò)的兩個(gè)分支分別傳入需要跟蹤的目標(biāo)圖像和當(dāng)前幀圖像，以目標(biāo)圖像為模板分別通過主干網(wǎng)絡(luò)提取當(dāng)前幀圖像的特征，在當(dāng)前幀圖像對應(yīng)的特征圖上做卷積操作。

4.如權(quán)利要求1所述的方法，其特征在于，在所述步驟S3中，利用歐氏距離算法將各目標(biāo)當(dāng)前幀的特征向量與前一幀的特征向量進(jìn)行比對，并結(jié)合匈牙利算法實(shí)現(xiàn)上下幀各目標(biāo)對象的關(guān)聯(lián)匹配，以對多目標(biāo)對象進(jìn)行實(shí)時(shí)匹配跟蹤，實(shí)現(xiàn)連續(xù)的軌跡跟蹤。

5.如權(quán)利要求1所述的方法，其特征在于，在所述步驟S4中，將各目標(biāo)對象的跟蹤結(jié)果序列輸入姿態(tài)估計(jì)系統(tǒng)中生成對應(yīng)的骨骼節(jié)點(diǎn)序列，其中，每一幀的跟蹤結(jié)果包括：各目標(biāo)對象的ID、定位坐標(biāo)、原始圖片以及目標(biāo)圖像數(shù)據(jù)。

6.如權(quán)利要求1所述的方法，其特征在于，在所述步驟S4中，將識別獲取的多目標(biāo)行為分析結(jié)果序列、對應(yīng)的骨骼節(jié)點(diǎn)序列與跟蹤結(jié)果序列關(guān)聯(lián)組成最終分析結(jié)果面向用戶輸出，其中，各目標(biāo)對象的骨骼節(jié)點(diǎn)采用彩色的線段和節(jié)點(diǎn)顯示。

7.一種存儲介質(zhì)，其特征在于，所述存儲介質(zhì)上存儲有可實(shí)現(xiàn)如權(quán)利要求1～6中任一項(xiàng)所述方法的程序代碼。

8.一種基于深度學(xué)習(xí)技術(shù)分析多目標(biāo)對象行為的系統(tǒng)，其特征在于，所述系統(tǒng)執(zhí)行如權(quán)利要求1～6中任意一項(xiàng)所述的方法，該系統(tǒng)包括：

視覺數(shù)據(jù)采集模塊，其配置為采集包含至少一個(gè)對象的視覺媒體數(shù)據(jù)，其中所述視覺媒體數(shù)據(jù)包括：含目標(biāo)對象的圖像數(shù)據(jù)、視頻數(shù)據(jù)以及動(dòng)畫數(shù)據(jù)；

檢測定位模塊，其配置為基于所述視覺媒體數(shù)據(jù)利用目標(biāo)檢測網(wǎng)絡(luò)對當(dāng)前幀各目標(biāo)對象進(jìn)行定位；

跟蹤識別模塊，其配置為綜合全卷積孿生網(wǎng)絡(luò)和重識別網(wǎng)絡(luò)跟蹤識別定位后的當(dāng)前幀各目標(biāo)對象，獲取各目標(biāo)對象的跟蹤結(jié)果序列；

行為自動(dòng)分析模塊，其配置為根據(jù)所述跟蹤結(jié)果序列生成各目標(biāo)對象對應(yīng)時(shí)間段內(nèi)的骨骼節(jié)點(diǎn)序列，并基于其利用時(shí)空圖卷積網(wǎng)絡(luò)自動(dòng)識別各目標(biāo)對象的行為分析結(jié)果序列；

所述跟蹤識別模塊，配置為利用全卷積孿生網(wǎng)絡(luò)對當(dāng)前幀定位后的各目標(biāo)對象進(jìn)行識別，提取對應(yīng)的特征圖和特征數(shù)據(jù)，進(jìn)而通過基于表征學(xué)習(xí)的重識別網(wǎng)絡(luò)提取各幀目標(biāo)對象特征圖的特征向量，并將上下幀的特征向量進(jìn)行關(guān)聯(lián)匹配，構(gòu)建設(shè)定時(shí)間段內(nèi)各目標(biāo)對象的跟蹤結(jié)果序列；

所述跟蹤識別模塊，還配置為：在跟蹤識別定位后的當(dāng)前幀各目標(biāo)對象之前，利用多任務(wù)學(xué)習(xí)方法融合全卷積孿生網(wǎng)絡(luò)和重識別網(wǎng)絡(luò)，構(gòu)建多目標(biāo)融合跟蹤網(wǎng)絡(luò)，所述全卷積孿生網(wǎng)絡(luò)和重識別網(wǎng)絡(luò)采用相同的主干網(wǎng)絡(luò)。