[發(fā)明專利]基于復(fù)雜背景下的移動(dòng)目標(biāo)檢測(cè)方法和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202210371385.7
• 申請(qǐng)日: 2022-04-11
• 公開（公告）號(hào): CN114463686B
• 公開（公告）日: 2022-06-17
• 發(fā)明（設(shè)計(jì)）人: 孫自偉;華澤璽
• 申請(qǐng)（專利權(quán)）人: 西南交通大學(xué);四川都睿感控科技有限公司
• 主分類號(hào): G06V20/40
• 分類號(hào): G06V20/40;G06N3/04;G06N3/08;G06T7/20;G06T7/60
• 代理公司: 北京市領(lǐng)專知識(shí)產(chǎn)權(quán)代理有限公司 11590
• 代理人: 潘鏡如

1.基于復(fù)雜背景下的移動(dòng)目標(biāo)檢測(cè)方法，其特征在于：包括以下步驟：

步驟S1，粗檢階段：將連續(xù)5幀視頻圖像依次輸入由ConvLSTM網(wǎng)絡(luò)和YOLO4網(wǎng)絡(luò)組成的粗檢模型中，其中ConvLSTM網(wǎng)絡(luò)捕獲運(yùn)動(dòng)信息，YOLO4網(wǎng)絡(luò)利用含有運(yùn)動(dòng)信息的特征圖定位目標(biāo)在每一幀中的空間維度位置；

所述ConvLSTM網(wǎng)絡(luò)嵌入到Y(jié)OLO4網(wǎng)絡(luò)的主干網(wǎng)絡(luò)CSPDark53的第二層與第三層之間；

所述粗檢階段具體包括以下步驟：

步驟S1-1：將連續(xù)5幀視頻圖像進(jìn)行預(yù)處理后得到粗檢模型的輸入，將其輸入依次輸入主干網(wǎng)絡(luò)CSPDark53的第一層和第二層，得到，有，其中i=1,2,3,4,5，表示主干網(wǎng)絡(luò)CSPDark53的前兩層；

步驟S1-2：將依次輸入到ConvLSTM網(wǎng)絡(luò)中，得到包含運(yùn)動(dòng)信息的特征矩陣，有，其中i=1,2,3,4,5，；

步驟S1-3：將特征矩陣輸入YOLO4網(wǎng)絡(luò)的后續(xù)結(jié)構(gòu)中，輸出得到目標(biāo)的類別和空間維度位置的預(yù)測(cè)矩陣{R}，有；

步驟S1-4：將預(yù)測(cè)矩陣{R}輸入YOLO4的后處理中，得到連續(xù)5幀視頻圖像中每幀的目標(biāo)類別和空間維度位置：

有：；

步驟S2，細(xì)檢階段：利用目標(biāo)跟蹤法跟蹤粗檢階段得到的目標(biāo)在連續(xù)5幀圖像上的空間維度位置，獲取5個(gè)空間維度位置的最小外切矩形并裁剪得到5張圖像，將5張圖像融合構(gòu)成一個(gè)15通道的圖像后輸入細(xì)檢模型中，經(jīng)過細(xì)檢得到最終檢測(cè)結(jié)果。

2.根據(jù)權(quán)利要求1所述的基于復(fù)雜背景下的移動(dòng)目標(biāo)檢測(cè)方法，其特征在于：所述粗檢模型中的ConvLSTM網(wǎng)絡(luò)，其融合歷史狀態(tài)和當(dāng)前輸入狀態(tài)的方式為先將歷史狀態(tài)和當(dāng)前輸入狀態(tài)進(jìn)行連接操作，再進(jìn)行卷積：

式中，為t時(shí)刻的細(xì)胞狀態(tài)，為t-1時(shí)刻的細(xì)胞狀態(tài)，細(xì)胞狀態(tài)中存儲(chǔ)了與運(yùn)動(dòng)信息相關(guān)的信息；為t時(shí)刻輸入層狀態(tài)，表示某一幀視頻圖像經(jīng)過卷積后的狀態(tài)；表示t時(shí)刻輸入門控制信號(hào)，表示t時(shí)刻遺忘門控制信號(hào)；為融合輸入信息和上一時(shí)刻細(xì)胞狀態(tài)信息的卷積權(quán)重，卷積權(quán)重是可學(xué)習(xí)的。

3.根據(jù)權(quán)利要求2所述的基于復(fù)雜背景下的移動(dòng)目標(biāo)檢測(cè)方法，其特征在于：將YOLO4網(wǎng)絡(luò)的每個(gè)輸出尺寸擴(kuò)大一倍。

4.根據(jù)權(quán)利要求1所述的基于復(fù)雜背景下的移動(dòng)目標(biāo)檢測(cè)方法，其特征在于：所述細(xì)檢階段具體包括以下步驟：

步驟S2-1：利用目標(biāo)跟蹤法跟蹤粗檢階段得到的目標(biāo)，獲取同一目標(biāo)在連續(xù)5幀圖像上的空間維度位置信息；

；

步驟S2-2：根據(jù)同一目標(biāo)在5幀圖像上的空間維度位置，獲取5個(gè)空間維度位置的最小外切矩形，有；

步驟S2-3：使用該最小外切矩形分別裁剪對(duì)應(yīng)的連續(xù)5幀圖像{f₁,f₂,f₃,f₄,f₅}，得到包含該目標(biāo)運(yùn)動(dòng)區(qū)域的5張截圖，有，其中i=1,2,3,4,5；

如果最小外切矩形中還有其他目標(biāo)，則使用黑色矩形框?qū)⑵涓采w，得到覆蓋其他目標(biāo)后的5張截圖；如果最小外切矩形中沒有其他目標(biāo)，則，有，其中i=1,2,3,4,5；

步驟S2-4：將處理后的5張截圖融合在一起，構(gòu)成一個(gè)W*H*15的矩陣，其中W為裁剪圖像的寬，H為裁剪圖像的高，15表示由5張3通道圖像組成而成的15通道，有；

步驟S2-5：對(duì)矩陣進(jìn)行resize和歸一化的預(yù)處理，得到矩陣，有；

步驟S2-6：將輸入細(xì)檢模型中，經(jīng)過細(xì)檢得到檢測(cè)結(jié)果。

5.根據(jù)權(quán)利要求4所述的基于復(fù)雜背景下的移動(dòng)目標(biāo)檢測(cè)方法，其特征在于：所述步驟S2-6具體包括以下步驟：

步驟S2-6-1：將輸入由MobilenetV2網(wǎng)絡(luò)和YOLO檢測(cè)頭組成的細(xì)檢模型中，輸出得到預(yù)測(cè)第3幀目標(biāo)的類別和空間維度位置的矩陣；

步驟S2-6-2：將矩陣輸入細(xì)檢模型的后處理中，得到第3幀目標(biāo)的類別和空間維度位置，有；

步驟S2-6-3：將細(xì)檢階段得到的結(jié)果通過映射矩陣{W}，映射到原始視頻圖像幀中，得到最終檢測(cè)結(jié)果，有。