[發(fā)明專利]用于檢測(cè)目標(biāo)對(duì)象的方法的和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010536869.3
• 申請(qǐng)日: 2020-06-12
• 公開（公告）號(hào): CN112307872A
• 公開（公告）日: 2021-02-02
• 發(fā)明（設(shè)計(jì)）人: 潘瀅煒;姚霆;梅濤
• 申請(qǐng)（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/32;G06K9/46;G06K9/62;G06N3/04
• 代理公司: 北京英賽嘉華知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;馬曉亞

1.一種用于檢測(cè)目標(biāo)對(duì)象的方法，包括：

獲取視頻中的圖像幀序列；

采用基于圖像幀之間的光流估計(jì)的第一特征聚合網(wǎng)絡(luò)提取所述圖像幀序列的第一聚合特征；

采用基于對(duì)圖像幀進(jìn)行時(shí)空采樣的第二特征聚合網(wǎng)絡(luò)提取所述圖像幀序列的第二聚合特征；

基于所述圖像幀序列的第一聚合特征和所述第二聚合特征，采用預(yù)先訓(xùn)練的檢測(cè)網(wǎng)絡(luò)檢測(cè)所述視頻中的目標(biāo)對(duì)象。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述采用基于圖像幀之間的光流估計(jì)的第一特征聚合網(wǎng)絡(luò)提取所述圖像幀序列的第一聚合特征，包括：

采用第一特征聚合網(wǎng)絡(luò)將所述圖像幀序列中的各非目標(biāo)幀的特征與所述圖像幀序列中的目標(biāo)幀的特征聚合為第一聚合特征，所述第一特征聚合網(wǎng)絡(luò)采用光流估計(jì)方法對(duì)非目標(biāo)幀與目標(biāo)幀進(jìn)行運(yùn)動(dòng)補(bǔ)償；

所述采用基于對(duì)圖像幀進(jìn)行時(shí)空采樣的第二特征聚合網(wǎng)絡(luò)提取所述圖像幀序列的第二聚合特征，包括：

基于自學(xué)習(xí)的偏移量預(yù)測(cè)網(wǎng)絡(luò)預(yù)測(cè)所述圖像幀序列中的各非目標(biāo)幀相對(duì)于所述圖像幀序列中的目標(biāo)幀的偏移量，以及基于所述偏移量將所述各非目標(biāo)幀的特征與所述目標(biāo)幀的特征聚合為第二聚合特征。

3.根據(jù)權(quán)利要求2所述的方法，其中，所述基于所述偏移量將所述各非目標(biāo)幀的特征與所述目標(biāo)幀的特征聚合為第二聚合特征，包括：

基于各非目標(biāo)幀與所述目標(biāo)幀的偏移量，對(duì)各非目標(biāo)幀進(jìn)行采樣，基于采樣結(jié)果生成所述目標(biāo)幀的第二聚合特征。

4.根據(jù)權(quán)利要求2所述的方法，其中，所述第一特征聚合網(wǎng)絡(luò)還包括第一特征金字塔網(wǎng)絡(luò)，所述第二特征聚合網(wǎng)絡(luò)還包括第二特征金字塔網(wǎng)絡(luò)；

所述采用基于圖像幀之間的光流估計(jì)的第一特征聚合網(wǎng)絡(luò)提取所述圖像幀序列的第一聚合特征，還包括：

采用所述第一特征金字塔網(wǎng)絡(luò)提取所述圖像幀序列中各圖像幀的第一多尺度特征；

所述采用基于對(duì)圖像幀進(jìn)行時(shí)空采樣的第二特征聚合網(wǎng)絡(luò)提取所述圖像幀序列的第二聚合特征，還包括：

采用所述第二特征金字塔網(wǎng)絡(luò)提取所述圖像幀序列中各圖像幀的第二多尺度特征。

5.根據(jù)權(quán)利要求4所述的方法，其中，所述將所述圖像幀序列中的各非目標(biāo)幀的特征與所述圖像幀序列中的目標(biāo)幀的特征聚合為第一聚合特征，包括：

將各非目標(biāo)幀的第一多尺度特征映射至目標(biāo)幀，并對(duì)各目標(biāo)幀映射至目標(biāo)幀的各尺度的特征進(jìn)行聚合得到第一多尺度聚合特征；以及

所述基于自學(xué)習(xí)的偏移量預(yù)測(cè)網(wǎng)絡(luò)預(yù)測(cè)所述圖像幀序列中的各非目標(biāo)幀相對(duì)于所述圖像幀序列中的目標(biāo)幀的偏移量，以及基于所述偏移量將所述各非目標(biāo)幀的特征與所述目標(biāo)幀的特征聚合為第二聚合特征，包括：

基于各圖像幀的第二多尺度特征，采用所述第二特征聚合網(wǎng)絡(luò)中的偏移量預(yù)測(cè)網(wǎng)絡(luò)預(yù)測(cè)各所述非目標(biāo)幀相對(duì)于所述目標(biāo)幀在各尺度的偏移量，并基于非目標(biāo)幀相對(duì)于目標(biāo)幀在各尺度的偏移量對(duì)各非目標(biāo)幀的第二多尺度特征在對(duì)應(yīng)的尺度上進(jìn)行采樣，對(duì)各尺度的采樣結(jié)果進(jìn)行聚合得到第二多尺度聚合特征。

6.根據(jù)權(quán)利要求1-5任一項(xiàng)所述的方法，其中，所述基于所述圖像幀序列的第一聚合特征和所述第二聚合特征，采用預(yù)先訓(xùn)練的檢測(cè)網(wǎng)絡(luò)檢測(cè)所述視頻中的目標(biāo)對(duì)象，包括：

對(duì)所述第一聚合特征和所述第二聚合特征進(jìn)行融合得到融合特征，將融合特征輸入至預(yù)先訓(xùn)練的檢測(cè)網(wǎng)絡(luò)，得到所述視頻中的目標(biāo)對(duì)象的檢測(cè)結(jié)果；或者

分別基于所述第一聚合特征和所述第二聚合特征檢測(cè)所述視頻中的目標(biāo)對(duì)象，對(duì)基于第一聚合特征的檢測(cè)結(jié)果和基于第二聚合特征的檢測(cè)結(jié)果進(jìn)行融合，得到所述視頻中的目標(biāo)對(duì)象的檢測(cè)結(jié)果。

7.根據(jù)權(quán)利要求6所述的方法，其中，所述對(duì)所述第一聚合特征和所述第二聚合特征進(jìn)行融合得到融合特征，包括：

將第一聚合特征和第二聚合特征拼接為融合特征；或者

基于所述第一聚合特征對(duì)第二聚合特征進(jìn)行校正，得到融合特征。

8.根據(jù)權(quán)利要求2-5任一項(xiàng)所述的方法，其中，所述目標(biāo)幀包括圖像幀序列中的中間幀。