[發(fā)明專利]一種基于相關(guān)物體感知的動(dòng)作識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010531050.8
• 申請(qǐng)日: 2020-06-11
• 公開（公告）號(hào): CN111797704B
• 公開（公告）日: 2023-05-02
• 發(fā)明（設(shè)計(jì)）人: 梁爽;馬文韜;儲(chǔ)港;謝馳
• 申請(qǐng)（專利權(quán)）人: 同濟(jì)大學(xué)
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20;G06V10/82;G06N3/0464;G06N3/048;G06N3/08;G06V10/74;G06V10/80;G06V10/764;G06V10/774
• 代理公司: 上海科盛知識(shí)產(chǎn)權(quán)代理有限公司 31225
• 代理人: 楊宏泰

本發(fā)明涉及一種基于相關(guān)物體感知的動(dòng)作識(shí)別方法，用于融合動(dòng)作相關(guān)物體特征識(shí)別人物動(dòng)作，其特征在于，包括以下步驟：1)通過卷積神經(jīng)網(wǎng)絡(luò)提取待識(shí)別圖像的特征圖；2)獲取待識(shí)別圖像中的物體，并計(jì)算各物體與動(dòng)作的相關(guān)性大小；3)根據(jù)相關(guān)性大小篩選最相關(guān)物體，提取得到最相關(guān)物體特征；4)獲取待識(shí)別圖像中的人物，提取人體特征；5)融合人體特征與最相關(guān)物體特征，計(jì)算各動(dòng)作的發(fā)生概率，完成圖像中人物動(dòng)作的識(shí)別，與現(xiàn)有技術(shù)相比，本發(fā)明具有識(shí)別精度高等優(yōu)點(diǎn)。

技術(shù)領(lǐng)域

本發(fā)明涉及動(dòng)作識(shí)別領(lǐng)域，尤其是涉及一種基于相關(guān)物體感知的動(dòng)作識(shí)別方法。

背景技術(shù)

動(dòng)作識(shí)別是計(jì)算機(jī)視覺領(lǐng)域內(nèi)的一個(gè)長(zhǎng)期且熱門的研究方向，其相關(guān)技術(shù)在文化娛樂、信息檢索、安全監(jiān)控和醫(yī)療衛(wèi)生等領(lǐng)域廣泛應(yīng)用。相較于圖像分類等其它計(jì)算機(jī)視覺任務(wù)，由于人在進(jìn)行動(dòng)作時(shí)姿態(tài)多變，類內(nèi)差異性大，類間差異性小，再結(jié)合視角、光照等多種因素的變化，使得動(dòng)作識(shí)別任務(wù)充滿挑戰(zhàn)性。

為了解決這個(gè)極具挑戰(zhàn)性的任務(wù)，動(dòng)作相關(guān)的物體作為關(guān)鍵信息之一被研究者們廣泛利用。為了獲取物體信息，現(xiàn)有方法都是使用單獨(dú)的目標(biāo)檢測(cè)網(wǎng)絡(luò)獨(dú)立檢測(cè)出物體，再用另一個(gè)分類網(wǎng)絡(luò)進(jìn)行動(dòng)作分類。

然而，現(xiàn)有方案中經(jīng)常被忽視的一個(gè)問題：訓(xùn)練能夠檢測(cè)物體的目標(biāo)檢測(cè)網(wǎng)絡(luò)需要密集的物體標(biāo)注。盡管目標(biāo)檢測(cè)領(lǐng)域近些年來高速發(fā)展，但目前能高效準(zhǔn)確識(shí)別出物體的方法，如，F(xiàn)aster?RCNN、YOLO、SSD等，仍然都依賴于數(shù)據(jù)集中事先標(biāo)注的大量物體進(jìn)行訓(xùn)練。即使是目前最常用的大規(guī)模數(shù)據(jù)集——COCO數(shù)據(jù)集也只提供了80個(gè)類別的物體信息。物體標(biāo)注信息限制了檢測(cè)器能夠檢測(cè)出的物體類別和數(shù)量，而標(biāo)注物體信息又相當(dāng)耗時(shí)費(fèi)力，更不用說，我們幾乎不可能標(biāo)注出實(shí)際應(yīng)用場(chǎng)景中所有可能存在的物體。另外，即使有零次學(xué)習(xí)(zero-shot?learning)技術(shù)，但是在目標(biāo)檢測(cè)領(lǐng)域剛剛起步，尚不能應(yīng)用到動(dòng)作識(shí)別任務(wù)中。現(xiàn)有方法采用預(yù)訓(xùn)練的目標(biāo)檢測(cè)器，使得其難以檢測(cè)出不在訓(xùn)練數(shù)據(jù)中的動(dòng)作相關(guān)物體，從而影響動(dòng)作識(shí)別精度。

此外，即使提供了物體標(biāo)注信息，讓目標(biāo)檢測(cè)器直接預(yù)測(cè)出可能在各個(gè)位置出現(xiàn)的物體仍然不是一件簡(jiǎn)單的事，也會(huì)影響動(dòng)作識(shí)別的精度。

發(fā)明內(nèi)容

本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種基于相關(guān)物體感知的動(dòng)作識(shí)別方法，在無需物體標(biāo)注的情況下，找出并提取動(dòng)作相關(guān)的物體特征，提高動(dòng)作識(shí)別的精度。

本發(fā)明的目的可以通過以下技術(shù)方案來實(shí)現(xiàn)：

一種基于相關(guān)物體感知的動(dòng)作識(shí)別方法，用于融合動(dòng)作相關(guān)物體特征識(shí)別人物動(dòng)作，包括以下步驟：

1)通過卷積神經(jīng)網(wǎng)絡(luò)提取待識(shí)別圖像的特征圖；

2)獲取待識(shí)別圖像中的物體，并計(jì)算各物體與動(dòng)作的相關(guān)性大小；

3)根據(jù)相關(guān)性大小篩選最相關(guān)物體，提取得到最相關(guān)物體特征；

4)獲取待識(shí)別圖像中的人物，提取人體特征；

5)融合人體特征與最相關(guān)物體特征，計(jì)算各動(dòng)作的發(fā)生概率，完成圖像中人物動(dòng)作的識(shí)別。

進(jìn)一步地，所述的步驟2)具體包括：

201)以輸入特征圖上每一個(gè)像素位置為中心，分別設(shè)置K個(gè)不同尺度的錨點(diǎn)框，作為物體候選框枚舉出待識(shí)別圖像中的物體；

202)計(jì)算各物體候選框?qū)?yīng)的動(dòng)作相關(guān)性分?jǐn)?shù)；

203)利用sigmoid函數(shù)將各物體候選框?qū)?yīng)的動(dòng)作相關(guān)性分?jǐn)?shù)映射到0到1之間，得到標(biāo)準(zhǔn)動(dòng)作相關(guān)性分?jǐn)?shù)。

進(jìn)一步優(yōu)選地，所述的計(jì)算各物體候選框?qū)?yīng)的動(dòng)作相關(guān)性分?jǐn)?shù)具體包括：