[發(fā)明專利]一種移動物體的狀態(tài)檢測方法及檢測裝置

在審

• 申請?zhí)枺?/td>: 202110635008.5
• 申請日: 2021-06-07
• 公開（公告）號: CN113362369A
• 公開（公告）日: 2021-09-07
• 發(fā)明（設(shè)計）人: 秦家虎;周文華;王帥;張展鵬
• 申請（專利權(quán)）人: 中國科學(xué)技術(shù)大學(xué)
• 主分類號: G06T7/215
• 分類號: G06T7/215;G06T7/246;G06T7/269;G06N3/04;G06N3/08
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 孫蕾

1.一種移動物體的狀態(tài)檢測方法，包括：

獲取單目相機拍攝得到的圖像幀序列，其中，所述圖像幀序列的圖像幀中包括待檢測移動物體；

對所述圖像幀序列進(jìn)行目標(biāo)檢測，得到用于表征所述待檢測移動物體的圖像塊樣本；

將所述圖像塊樣本輸入特征提取模塊，輸出所述待檢測移動物體的光流信息和跟蹤信息；以及

將所述光流信息和跟蹤信息輸入神經(jīng)網(wǎng)絡(luò)模型，輸出所述待檢測移動物體的狀態(tài)信息。

2.根據(jù)權(quán)利要求1所述的方法，其中，對所述圖像幀序列進(jìn)行目標(biāo)檢測，得到用于表征所述待檢測移動物體的圖像塊樣本包括：

將所述圖像幀序列中的圖像幀輸入目標(biāo)檢測器，輸出用于表征所述待檢測移動物體的邊界框B_i＝(l_i，t_i，r_i，b_i)，其中，l_i為所述邊界框的左邊界坐標(biāo)，t_i為所述邊界框的上邊界坐標(biāo)，r_i為所述邊界框的右邊界坐標(biāo)，b_i為所述邊界框的下邊界坐標(biāo)；

根據(jù)預(yù)設(shè)裁剪規(guī)則對所述邊界框進(jìn)行裁剪，得到與所述邊界框?qū)?yīng)的圖像塊；

根據(jù)所述圖像塊構(gòu)建所述圖像塊樣本。

3.根據(jù)權(quán)利2所述的方法，其中，根據(jù)預(yù)設(shè)裁剪規(guī)則對所述邊界框進(jìn)行裁剪，得到與所述邊界框?qū)?yīng)的圖像塊包括：

對于邊界框B_i＝(l_i，t_i，r_i，b_i)，裁剪區(qū)域定義為：

其中，σ為擴展因子。

4.根據(jù)權(quán)利1所述的方法，其中，所述特征提取模塊包括光流計算模塊和跟蹤器，將所述圖像塊樣本輸入特征提取模塊，輸出所述待檢測移動物體的光流信息和跟蹤信息包括：

將所述圖像塊樣本輸入所述光流計算模塊，輸出所述待檢測移動物體的光流信息；

將所述圖像塊樣本輸入所述跟蹤器，輸出所述待檢測移動物體的跟蹤信息。

5.根據(jù)權(quán)利1所述的方法，其中，所述光流信息包括所述待檢測移動物體的像素位移矢量的大小和角度。

6.根據(jù)權(quán)利1所述的方法，還包括：

利用DeepSort跟蹤算法獲得所述跟蹤信息。

7.根據(jù)權(quán)利1所述的方法，其中，所述神經(jīng)網(wǎng)絡(luò)模型包括長期遞歸卷積網(wǎng)絡(luò)、第一多層感知機和第二多層感知機。

8.根據(jù)權(quán)利7所述的方法，其中，將所述光流信息和跟蹤信息輸入神經(jīng)網(wǎng)絡(luò)模型，輸出所述待檢測移動物體的狀態(tài)信息包括：

將所述光流信息輸入所述長期遞歸卷積網(wǎng)絡(luò)，輸出第一一維向量；

將所述跟蹤信息輸入所述第一多層感知機，輸出第二一維向量；

將所述第一一維向量和所述第二一維向量進(jìn)行池化和堆疊，得到1×n維的向量，其中n為維度；

將所述1×n維的向量輸入所述第二多層感知機，輸出所述狀態(tài)信息。

9.根據(jù)權(quán)利8所述的方法，其中，所述第一多層感知機為6層多層感知機，所述第二多層感知機為3層多層感知機。

10.一種基于權(quán)利要求1至9中任一所述方法實現(xiàn)的移動物體的狀態(tài)檢測裝置，包括：

獲取模塊，用于獲取單目相機拍攝得到的圖像幀序列，其中，所述圖像序列的圖像幀中包括待檢測移動物體；

檢測模塊，用于對所述圖像幀序列進(jìn)行目標(biāo)檢測，得到用于表征所述待檢測移動物體的圖像塊樣本；

第一處理模塊，用于將所述圖像塊樣本輸入特征提取模塊，輸出所述待檢測移動物體的光流信息和跟蹤信息；以及

第二處理模塊，用于將所述光流信息和跟蹤信息輸入神經(jīng)網(wǎng)絡(luò)模型，輸出所述待檢測移動物體的狀態(tài)信息。