[發(fā)明專利]基于DETR的人物成對(duì)解碼交互的人與物交互檢測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210864552.1
• 申請(qǐng)日: 2022-07-21
• 公開（公告）號(hào): CN115147931A
• 公開（公告）日: 2022-10-04
• 發(fā)明（設(shè)計(jì)）人: 劉盛;張峰;陳俊皓;郭炳男;陳瑞祥
• 申請(qǐng)（專利權(quán)）人: 浙江工業(yè)大學(xué)
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20;G06V10/764;G06V10/766;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 忻明年

本發(fā)明公開了一種基于DETR的人物成對(duì)解碼交互的人與物交互檢測(cè)方法，將圖片通過訓(xùn)練好的DETR模型，獲得人物目標(biāo)框、目標(biāo)類別和查詢向量，從而減少模型訓(xùn)練時(shí)間。然后將查詢向量和目標(biāo)類別輸入到查詢向量分類器，得到人的查詢向量、物的查詢向量和物的類別；將物的類別輸入到語義網(wǎng)絡(luò)，得到物的語義查詢向量，融合物的查詢向量和物的語義查詢向量，得到融合的物查詢向量，將融合的物查詢向量和人的查詢向量進(jìn)行合并，得到對(duì)象查詢向量。最后將對(duì)象查詢向量輸入到成對(duì)融合檢測(cè)網(wǎng)絡(luò)，實(shí)現(xiàn)人物交互檢測(cè)。本發(fā)明提高了人與物交互檢測(cè)的精度，擴(kuò)大了網(wǎng)絡(luò)的感受野，提高了網(wǎng)絡(luò)的性能。

技術(shù)領(lǐng)域

本申請(qǐng)屬于人-物交互檢測(cè)技術(shù)領(lǐng)域，尤其涉及一種基于DETR的人物成對(duì)解碼交互的人與物交互檢測(cè)方法。

背景技術(shù)

人-物交互檢測(cè)是目標(biāo)檢測(cè)的下游任務(wù)，是目前熱門的計(jì)算機(jī)視覺任務(wù)。相比于目標(biāo)檢測(cè)檢測(cè)目標(biāo)框和目標(biāo)類別，人-物交互檢測(cè)定位圖像中的交互人-物對(duì)，并對(duì)動(dòng)作進(jìn)行分類。

在Transformer模型未被應(yīng)用在視覺任務(wù)前，人-物交互檢測(cè)算法往往使用卷積網(wǎng)絡(luò)提取視覺特征，如HO-RCNN，這是典型的基于卷積神經(jīng)網(wǎng)絡(luò)的人-物交互檢測(cè)算法，算法利用R-CNN定位相關(guān)區(qū)域，骨干網(wǎng)絡(luò)裁剪特征后再通過多分支融合特征；STIGPN則利用圖卷積迭代特征信息。但是這些方法仍存在著局限性，即傳統(tǒng)卷積網(wǎng)絡(luò)無法引入全局信息，同樣也會(huì)造成特征污染。

近期，基于端到端的檢測(cè)變換器網(wǎng)絡(luò)DETR(Detection Transformer)算法開始流行，其使用深度自注意力來代替卷積，能夠引入全局信息來完成集合預(yù)測(cè)。DETR算法是用于處理目標(biāo)檢測(cè)問題，因此將DETR引入目標(biāo)檢測(cè)下游任務(wù)人-物關(guān)系檢測(cè)，乃至視覺的各領(lǐng)域是一個(gè)十分自然的想法。QPIC算法就是將DETR引入人-物關(guān)系交互檢測(cè)領(lǐng)域，將其作為一個(gè)基礎(chǔ)的檢測(cè)器，并提取相應(yīng)上下文信息，預(yù)測(cè)最終的三元組集合。

但是基于DETR直接完成三元組集合預(yù)測(cè)的相關(guān)人-物交互檢測(cè)算法仍存在著一些問題，其一是訓(xùn)練困難，這是Transformer模型帶來的劣勢(shì)；其二是將單一的查詢(Query)作為一個(gè)整體預(yù)測(cè)特征，而忽視了多個(gè)查詢(Queries)之間的更符合直覺的特征聯(lián)系，因此需要設(shè)計(jì)一種特殊的結(jié)構(gòu)來融合相應(yīng)的特征聯(lián)系。同時(shí)，最后所預(yù)測(cè)的human,object,interaction三元組缺少相應(yīng)的可靠性判斷，需要一個(gè)語義模型來進(jìn)行約束。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)岢隽艘环N基于DETR的人物成對(duì)解碼交互的人與物交互檢測(cè)方法，來減少訓(xùn)練資源，結(jié)合語義模態(tài)提高人-物交互檢測(cè)精度。

為了實(shí)現(xiàn)上述目的，本申請(qǐng)技術(shù)方案如下：

一種基于DETR的人物成對(duì)解碼交互的人與物交互檢測(cè)方法，包括：

將原始圖像經(jīng)過骨干網(wǎng)絡(luò)得到的特征圖注入訓(xùn)練好DETR網(wǎng)絡(luò)，所述DETR網(wǎng)絡(luò)包括編碼器、解碼器和MLP層，獲得解碼器輸出的查詢向量，以及DETR網(wǎng)絡(luò)最終輸出的目標(biāo)框及目標(biāo)類別；

將查詢向量和目標(biāo)類別輸入到查詢向量分類器，得到人的查詢向量、物的查詢向量和物的類別；

將物的類別輸入到語義網(wǎng)絡(luò)，得到物的語義查詢向量；

融合物的查詢向量和物的語義查詢向量，得到融合的物查詢向量，將融合的物查詢向量和人的查詢向量進(jìn)行合并，得到對(duì)象查詢向量；

將對(duì)象查詢向量輸入到成對(duì)融合檢測(cè)網(wǎng)絡(luò)，實(shí)現(xiàn)人物交互檢測(cè)。

進(jìn)一步的，所述語義網(wǎng)絡(luò)包括空間注意力模塊和語義聚合模塊，所述語義空間注意力模塊輸入特征為數(shù)據(jù)集的動(dòng)詞嵌入向量，輸出語義空間注意力特征；