[發(fā)明專利]基于多監(jiān)控視頻的工作行為檢測方法、裝置、設(shè)備及介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210709717.8
• 申請日: 2022-06-22
• 公開（公告）號: CN114937245A
• 公開（公告）日: 2022-08-23
• 發(fā)明（設(shè)計）人: 劉興廷
• 申請（專利權(quán)）人: 中國平安財產(chǎn)保險股份有限公司
• 主分類號: G06V20/52
• 分類號: G06V20/52;G06V20/40;G06V10/82;G06N3/08;G06N3/04
• 代理公司: 深圳國新南方知識產(chǎn)權(quán)代理有限公司 44374
• 代理人: 周純

1.一種基于多監(jiān)控視頻的工作行為檢測方法，其特征在于，包括：

根據(jù)第一監(jiān)控視頻獲取至少一個待識別目標的人物圖像集合，對每個所述待識別目標的人物圖像集合進行特征提取，獲取所述待識別目標的特征集合，其中，所述人物圖像集合包括多個人物圖像，每個所述人物圖像包括所述待識別目標、對所述待識別目標的拍攝角度、拍攝時間以及攝像頭標識，多個所述人物圖像至少包括兩個所述拍攝角度，所述特征集合包括所述待識別目標的不同拍攝角度的特征；

根據(jù)所述待識別目標的特征集合以及從第二監(jiān)控視頻中提取的多個待識別對象的特征集合，獲取與所述待識別目標匹配的所述待識別對象；

將所述待識別目標的人物圖像集合以及匹配的至少一個所述待識別對象的人物圖像集合中多個所述人物圖像按照拍攝時間進行聚類，獲取所述待識別目標在不同拍攝時間的待處理圖像集合，每個所述待處理圖像集合包括同一拍攝時間的多個所述人物圖像；

將所述待識別目標的所述待處理圖像集合輸入預(yù)先訓(xùn)練好的工作行為檢測模型中，輸出所述待識別目標在所述拍攝時間的工作行為結(jié)果，其中，所述工作行為檢測模型是根據(jù)標注有行為類別的樣本圖像集合訓(xùn)練得到的，所述樣本圖像集合包括相同拍攝時間的多個不同拍攝角度的樣本對象。

2.根據(jù)權(quán)利要求1所述的基于多監(jiān)控視頻的工作行為檢測方法，其特征在于，所述行為檢測模塊包括對應(yīng)不同圖像尺寸范圍的多個特征提取通道，不同的特征提取通道對應(yīng)不同的膨脹因子；

所述將所述待識別目標的所述待處理圖像集合輸入預(yù)先訓(xùn)練好的工作行為檢測模型中，輸出所述待識別目標在所述拍攝時間的工作行為結(jié)果，包括：

將所述待識別目標的所述待處理圖像集合中所述人物圖像輸入卷積模塊，輸出每個所述人物圖像的特征圖；

獲取每個所述特征圖的圖像尺寸；

根據(jù)所述圖像尺寸所在的尺寸范圍將所述特征圖輸入至對應(yīng)的所述特征提取通道，根據(jù)所述特征提取通道的膨脹系數(shù)對所述特征圖進行卷積操作，輸出所述特征圖的特征矩陣；

根據(jù)所述待識別目標的不同所述特征矩陣對所述待識別目標進行工作行為檢測，輸出概率向量，其中，所述概率向量包括所述待識別目標為每個預(yù)設(shè)行為類別的概率，將所述概率向量中概率最大的行為類別作為所述工作行為結(jié)果。

3.根據(jù)權(quán)利要求2所述的基于多監(jiān)控視頻的工作行為檢測方法，其特征在于，所述卷積模塊包括具有第一卷積核的第一卷積層、具有第二卷積核的第二卷積層以及分別具有第三卷積核的第三卷積層和第四卷積層；

所述將所述待識別目標的所述待處理圖像集合中所述人物圖像輸入卷積模塊，輸出每個所述人物圖像的特征圖，包括：

所述將所述待識別目標的所述待處理圖像集合中所述人物圖像輸入第一卷積層，輸出每個所述人物圖像的第一特征圖；

將所述第一特征圖輸入至第二卷積層，輸出每個所述人物圖像的第二特征圖；

將所述第二特征圖輸入至第三卷積層，輸出每個所述人物圖像的第三特征圖；

將所述第三特征圖輸入至第四卷積層，輸出每個所述人物圖像的第四特征圖；

將所述第三特征圖和所述第四特征圖進行特征融合，輸出每個所述人物圖像的所述特征圖。

4.根據(jù)權(quán)利要求1所述的基于多監(jiān)控視頻的工作行為檢測方法，其特征在于，所述根據(jù)所述待識別目標的特征集合以及從第二監(jiān)控視頻中提取的多個待識別對象的特征集合，獲取與所述待識別目標匹配的所述待識別對象，包括：

根據(jù)所述待識別目標的特征集合以及所述待識別對象的特征集合，將所述待識別目標和所述待識別對象進行特征比對，得到對應(yīng)的比對值；

將所述比對值最高的所述待識別對象作為與所述待識別目標匹配的所述待識別對象。

5.根據(jù)權(quán)利要求4所述的基于多監(jiān)控視頻的工作行為檢測方法，其特征在于，所述根據(jù)所述待識別目標的特征集合以及所述待識別對象的特征集合，將所述待識別目標和所述待識別對象進行特征比對，得到對應(yīng)的比對值，包括：

計算所述待識別目標的特征集合以及所述待識別對象的特征集合的距離，將所述距離作為所述比對值。