[發(fā)明專利]一種基于深度學(xué)習(xí)雙流網(wǎng)絡(luò)的攀爬行為檢測方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110448771.7
• 申請(qǐng)日: 2021-04-25
• 公開（公告）號(hào): CN113052139A
• 公開（公告）日: 2021-06-29
• 發(fā)明（設(shè)計(jì)）人: 張泉;趙曼;劉海峰;任廣鑫;張明;季坤;吳迪;甄超;王坤;王劉芳;鄭浩
• 申請(qǐng)（專利權(quán)）人: 合肥中科類腦智能技術(shù)有限公司;國網(wǎng)安徽省電力有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06T7/269;G06N3/08
• 代理公司: 合肥昊晟德專利代理事務(wù)所(普通合伙) 34153
• 代理人: 何梓秋

1.一種基于深度學(xué)習(xí)雙流網(wǎng)絡(luò)的攀爬行為檢測方法，其特征在于，包括以下步驟：

S1：目標(biāo)檢測、跟蹤并編號(hào)

使用目標(biāo)檢測網(wǎng)絡(luò)對(duì)原始視頻進(jìn)行行人檢測，得到行人的檢測框；利用檢測框和視頻的時(shí)序信息進(jìn)行跟蹤，得到目標(biāo)編號(hào)；

S2：裁剪目標(biāo)視頻片段

根據(jù)檢測框和目標(biāo)編號(hào)，對(duì)原始視頻進(jìn)行裁剪，去除檢測框外區(qū)域，把每個(gè)編號(hào)的行人重新保存成一個(gè)視頻片段；

S3：隨機(jī)采樣

針對(duì)步驟S2中的每個(gè)視頻片段，每設(shè)定幀數(shù)隨機(jī)采樣設(shè)定采樣幀數(shù)，使用稠密光流法計(jì)算得到采樣幀每個(gè)像素的光流信息；

S4：動(dòng)作分類

將各采樣幀的彩色圖像和光流信息送入攀爬二分類雙流網(wǎng)絡(luò)，對(duì)設(shè)定幀數(shù)進(jìn)行分類，確定是否存在攀爬行為。

2.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)雙流網(wǎng)絡(luò)的攀爬行為檢測方法，其特征在于：在所述步驟S1中，所采用的目標(biāo)檢測網(wǎng)絡(luò)為YOLO網(wǎng)絡(luò)，通過YOLO網(wǎng)絡(luò)同時(shí)對(duì)視頻中多個(gè)行人目標(biāo)進(jìn)行，用矩形包圍框的形式框選出每個(gè)行人目標(biāo)的輪廓區(qū)域，作為后續(xù)處理候選區(qū)域。

3.根據(jù)權(quán)利要求2所述的一種基于深度學(xué)習(xí)雙流網(wǎng)絡(luò)的攀爬行為檢測方法，其特征在于：所述步驟S2的具體過程為：

S21：對(duì)步驟S1所得候選區(qū)域進(jìn)行裁剪，以每個(gè)區(qū)域矩形包圍框長或?qū)挼淖畲笾禐檫呴L，矩形框的中心點(diǎn)為裁剪中心，裁剪出一個(gè)正方形區(qū)域，然后調(diào)整圖像尺寸到設(shè)定尺寸；

S22：根據(jù)步驟S1所得行人編號(hào)，為每個(gè)人建立大小為30的圖像緩沖池，將調(diào)整尺寸后的圖像放入緩沖池中，當(dāng)圖像緩沖達(dá)到30張時(shí)，進(jìn)行步驟S3。

4.根據(jù)權(quán)利要求3所述的一種基于深度學(xué)習(xí)雙流網(wǎng)絡(luò)的攀爬行為檢測方法，其特征在于：所述緩沖池用于為每個(gè)行人目標(biāo)建立的臨時(shí)視頻存儲(chǔ)，與每個(gè)行人編號(hào)對(duì)應(yīng)，當(dāng)存儲(chǔ)量到達(dá)30時(shí)，緩沖池內(nèi)容清空，重新開始新圖片的存儲(chǔ)，對(duì)應(yīng)行人編號(hào)不變；當(dāng)緩沖池內(nèi)容長時(shí)間得不到更新，說明此緩沖池對(duì)應(yīng)編號(hào)的行人已經(jīng)離開視頻監(jiān)控范圍，在超出預(yù)設(shè)更新時(shí)間后，將此緩沖池銷毀。

5.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)雙流網(wǎng)絡(luò)的攀爬行為檢測方法，其特征在于：在所述步驟S3中，稠密光流計(jì)算采用Farneback算法，取相鄰兩幀的圖像，將圖像視為二維信號(hào)的函數(shù)，對(duì)每個(gè)像素點(diǎn)周圍設(shè)定一個(gè)鄰域，采用最小二乘法構(gòu)建灰度值與位置的函數(shù)關(guān)系式，進(jìn)而將原有笛卡爾坐標(biāo)系圖像的二維信號(hào)空間，轉(zhuǎn)換到其他向量空間，求得兩幀之間的像素位移差，得到光流。

6.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)雙流網(wǎng)絡(luò)的攀爬行為檢測方法，其特征在于：在所述步驟S4中，雙流網(wǎng)絡(luò)的訓(xùn)練過程如下：

S41：制作用于訓(xùn)練的二分類數(shù)據(jù)集，提取采集到的視頻片段每一幀，按照之前的方法進(jìn)行行人檢測，行人跟蹤，裁剪，計(jì)算每一幀的光流，按照人工標(biāo)注的類別保存裁剪后的原始圖像和對(duì)應(yīng)位置的光流圖像，其中攀爬作為正樣本，非攀爬作為負(fù)樣本；

S42：隨機(jī)從正樣本庫中挑選3張裁剪后的原始幀和對(duì)應(yīng)區(qū)域的光流作為正樣本，并用相同的方法挑選負(fù)樣本，送入雙流網(wǎng)絡(luò)進(jìn)行分類訓(xùn)練，訓(xùn)練完后得到雙流網(wǎng)絡(luò)并保存。

7.一種基于深度學(xué)習(xí)雙流網(wǎng)絡(luò)的攀爬行為檢測系統(tǒng)，其特征在于，利用如權(quán)利要求1～6任一項(xiàng)所述的檢測方法對(duì)攀爬行為進(jìn)行檢測，包括：

目標(biāo)檢測模塊，用于使用目標(biāo)檢測網(wǎng)絡(luò)對(duì)原始視頻進(jìn)行行人檢測，得到行人的檢測框；利用檢測框和視頻的時(shí)序信息進(jìn)行跟蹤，得到目標(biāo)編號(hào)；

片段裁剪模塊，用于根據(jù)檢測框和目標(biāo)編號(hào)，對(duì)原始視頻進(jìn)行裁剪，去除檢測框外區(qū)域，把每個(gè)編號(hào)的行人重新保存成一個(gè)視頻片段；

隨機(jī)采樣模塊，用于針對(duì)每個(gè)視頻片段，每設(shè)定幀數(shù)隨機(jī)采樣設(shè)定采樣幀數(shù)，使用稠密光流法計(jì)算得到采樣幀每個(gè)像素的光流信息；

動(dòng)作分類模塊，用于將各采樣幀的彩色圖像和光流信息送入攀爬二分類雙流網(wǎng)絡(luò)，對(duì)設(shè)定幀數(shù)進(jìn)行分類，確定是否存在攀爬行為；

中央處理模塊，用于向其他模塊發(fā)出指令，完成相關(guān)動(dòng)作；

所述目標(biāo)檢測模塊、片段裁剪模塊、隨機(jī)采樣模塊、動(dòng)作分類模塊均與中央處理模塊電連接。