[發(fā)明專利]多類物體檢測與識(shí)別的方法、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 201810009329.2
• 申請日: 2018-01-05
• 公開（公告）號(hào): CN110008789A
• 公開（公告）日: 2019-07-12
• 發(fā)明（設(shè)計(jì)）人: 潘偉森;李儉;高黎明
• 申請（專利權(quán)）人: 中國移動(dòng)通信有限公司研究院;中國移動(dòng)通信集團(tuán)有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06N3/04
• 代理公司: 北京銀龍知識(shí)產(chǎn)權(quán)代理有限公司 11243
• 代理人: 許靜;安利霞

1.一種多類物體檢測與識(shí)別的方法，其特征在于，包括：

確定視頻流中的當(dāng)前視頻幀為關(guān)鍵幀或非關(guān)鍵幀；

在當(dāng)前視頻幀為非關(guān)鍵幀時(shí)，將當(dāng)前視頻幀之前的最近一個(gè)關(guān)鍵幀的圖像特征映射到當(dāng)前視頻幀，得到當(dāng)前視頻幀的圖像特征地圖；以及，在當(dāng)前視頻幀為關(guān)鍵幀時(shí)，直接提取當(dāng)前視頻幀的圖像特征，獲得當(dāng)前視頻幀的圖像特征地圖；

根據(jù)當(dāng)前視頻圖像幀的圖像特征地圖，進(jìn)行目標(biāo)檢測，獲得目標(biāo)檢測結(jié)果。

2.如權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

建立用于獲取所述目標(biāo)檢測結(jié)果的深度神經(jīng)網(wǎng)絡(luò)模型，并利用訓(xùn)練樣本訓(xùn)練優(yōu)化所述深度神經(jīng)網(wǎng)絡(luò)模型。

3.如權(quán)利要求1或2所述的方法，其特征在于，所述在當(dāng)前視頻幀為非關(guān)鍵幀時(shí)，將當(dāng)前視頻幀之前的最近一個(gè)關(guān)鍵幀的圖像特征映射到當(dāng)前視頻幀，得到當(dāng)前視頻幀的圖像特征地圖的步驟，包括：

根據(jù)所述當(dāng)前視頻幀和所述最近一個(gè)關(guān)鍵幀，計(jì)算得到光流結(jié)果；

對所述最近一個(gè)關(guān)鍵幀進(jìn)行特征扭曲，得到一扭曲結(jié)果，并將所述扭曲結(jié)果與所述光流結(jié)果進(jìn)行特征融合處理，得到當(dāng)前視頻幀的圖像特征地圖。

4.如權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述當(dāng)前視頻幀和所述最近一個(gè)關(guān)鍵幀，計(jì)算得到光流結(jié)果的步驟，包括：

利用預(yù)定的光流估算算法，計(jì)算所述當(dāng)前視頻幀和所述最近一個(gè)關(guān)鍵幀之間的第一光流；

計(jì)算第一光流與所述最近一個(gè)關(guān)鍵幀經(jīng)特征扭曲之后的扭曲結(jié)果之間的第二光流，得到所述光流結(jié)果。

5.如權(quán)利要求2所述的方法，其特征在于，所述在當(dāng)前視頻幀為關(guān)鍵幀時(shí)，提取當(dāng)前視頻幀的圖像特征，獲得當(dāng)前視頻幀的圖像特征地圖的步驟，包括：

使用基于區(qū)域的全卷積神經(jīng)網(wǎng)絡(luò)R-FCN，對當(dāng)前視頻幀進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)CNN特征提取，獲得當(dāng)前視頻幀的圖像特征地圖。

6.如權(quán)利要求1所述的方法，其特征在于，所述關(guān)鍵幀為I幀，所述非關(guān)鍵幀為除I幀外的非I幀。

7.一種多類物體檢測與識(shí)別的設(shè)備，其特征在于，包括：

確定單元，用于確定視頻流中的當(dāng)前視頻幀為關(guān)鍵幀或非關(guān)鍵幀；

第一特征提取單元，用于在當(dāng)前視頻幀為非關(guān)鍵幀時(shí)，將當(dāng)前視頻幀之前的最近一個(gè)關(guān)鍵幀的圖像特征映射到當(dāng)前視頻幀，得到當(dāng)前視頻幀的圖像特征地圖；

第二特征提取單元，用于在當(dāng)前視頻幀為關(guān)鍵幀時(shí)，直接提取當(dāng)前視頻幀的圖像特征，獲得當(dāng)前視頻幀的圖像特征地圖；

目標(biāo)檢測單元，用于根據(jù)當(dāng)前視頻圖像幀的圖像特征地圖，進(jìn)行目標(biāo)檢測，獲得目標(biāo)檢測結(jié)果。

8.如權(quán)利要求7所述的設(shè)備，其特征在于，還包括：

模型訓(xùn)練單元，用于建立用于獲取所述目標(biāo)檢測結(jié)果的深度神經(jīng)網(wǎng)絡(luò)模型，并利用訓(xùn)練樣本訓(xùn)練優(yōu)化所述深度神經(jīng)網(wǎng)絡(luò)模型。

9.如權(quán)利要求7或8所述的設(shè)備，其特征在于，所述第一特征提取單元包括：

光流計(jì)算單元，用于根據(jù)所述當(dāng)前視頻幀和所述最近一個(gè)關(guān)鍵幀，計(jì)算得到光流結(jié)果；

特征扭曲及融合單元，用于對所述最近一個(gè)關(guān)鍵幀進(jìn)行特征扭曲，得到一扭曲結(jié)果，并將所述扭曲結(jié)果與所述光流結(jié)果進(jìn)行特征融合處理，得到當(dāng)前視頻幀的圖像特征地圖。

10.如權(quán)利要求9所述的設(shè)備，其特征在于，所述光流計(jì)算單元包括：

第一計(jì)算單元，用于利用預(yù)定的光流估算算法，計(jì)算所述當(dāng)前視頻幀和所述最近一個(gè)關(guān)鍵幀之間的第一光流；

第二計(jì)算單元，用于計(jì)算第一光流與所述最近一個(gè)關(guān)鍵幀經(jīng)特征扭曲之后的扭曲結(jié)果之間的第二光流，得到所述光流結(jié)果。

11.一種多類物體檢測與識(shí)別的設(shè)備，其特征在于，包括：存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被所述處理器執(zhí)行時(shí)，實(shí)現(xiàn)如權(quán)利要求1至6中任一項(xiàng)所述的多類物體檢測與識(shí)別的方法的步驟。

12.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)如權(quán)利要求1至6中任一項(xiàng)所述的多類物體檢測與識(shí)別的方法的步驟。