[發(fā)明專利]基于類別索引學(xué)習(xí)的人-物交互分類方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202310242403.6
• 申請(qǐng)日: 2023-03-14
• 公開(kāi)（公告）號(hào): CN116363749A
• 公開(kāi)（公告）日: 2023-06-30
• 發(fā)明（設(shè)計(jì)）人: 梁爽;謝馳;王頡文;錢瑞昊;趙生捷
• 申請(qǐng)（專利權(quán)）人: 同濟(jì)大學(xué)
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20;G06V10/74;G06V10/764;G06V10/766;G06V10/80;G06V10/82;G06N3/0455;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 上海德昭知識(shí)產(chǎn)權(quán)代理有限公司 31204
• 代理人: 陳龍梅

本發(fā)明提供了一種基于類別索引學(xué)習(xí)的人?物交互分類方法，具有這樣的特征，包括以下步驟：步驟S1，根據(jù)人?物交互圖像得到圖像特征和人?物交互實(shí)例特征；步驟S2，根據(jù)圖像特征和類別索引得到更新后類別索引；步驟S3，根據(jù)更新后類別索引得到圖像分類分?jǐn)?shù)；步驟S4，根據(jù)圖像分類分?jǐn)?shù)得到實(shí)例分類分?jǐn)?shù)；步驟S5?S7，根據(jù)圖像分類分?jǐn)?shù)和實(shí)例分類分?jǐn)?shù)得到人?物交互圖像的交互識(shí)別結(jié)果。總之，本方法能夠提高人?物交互分類的識(shí)別精度。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺(jué)、人-物交互檢測(cè)領(lǐng)域，具體涉及一種基于類別索引學(xué)習(xí)的人-物交互分類方法。

背景技術(shù)

人體動(dòng)作識(shí)別在數(shù)十年里一直是計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)重要研究分支。人體動(dòng)作識(shí)別中的一類重要的子任務(wù)不僅需要識(shí)別人的動(dòng)作，還要定位人與周圍的交互物體，該任務(wù)稱為人-物交互(Human-Object?Interaction,HOI)檢測(cè)，是理解人類動(dòng)作語(yǔ)義的關(guān)鍵。人-物交互檢測(cè)是深入進(jìn)行場(chǎng)景理解和視覺(jué)認(rèn)知的重要核心技術(shù)，其在安防監(jiān)控、醫(yī)療教育、運(yùn)動(dòng)分析、無(wú)人駕駛等多個(gè)領(lǐng)域中有著廣泛的應(yīng)用前景和巨大的市場(chǎng)需求。

人-物交互檢測(cè)任務(wù)可以分為兩個(gè)子任務(wù)，即人-物對(duì)的檢測(cè)和交互分類。前者著重于檢測(cè)出圖像中的人和物體，并判斷其有無(wú)交互關(guān)系，與物體檢測(cè)任務(wù)高度相關(guān)；后者著重于對(duì)人-物對(duì)進(jìn)行交互類別的分類，要求模型理解各種各樣的交互語(yǔ)義，非常具有挑戰(zhàn)性。

現(xiàn)有的人-物交互檢測(cè)方法基本都是基于深度學(xué)習(xí)技術(shù)的，此外transformer架構(gòu)在近年來(lái)也得到了大量的使用。因此，現(xiàn)有人-物交互檢測(cè)技術(shù)，根據(jù)其工作流程和網(wǎng)絡(luò)結(jié)構(gòu)，可以大致分為三類：先檢測(cè)人-物對(duì)，再進(jìn)行人-物交互特征提取和分類的兩階段方法；并行地提取人-物對(duì)檢測(cè)和交互分類兩個(gè)子任務(wù)的特征并通過(guò)后處理合并兩個(gè)子任務(wù)結(jié)果的單階段方法；基于transformer結(jié)構(gòu)、端到端輸出人-物交互檢測(cè)結(jié)果的端到端方法。

在解決交互分類這個(gè)子任務(wù)時(shí)，現(xiàn)有的方法大多關(guān)注于如何提取更好的交互特征以供實(shí)例分類。例如，Ulutan等人嘗試使用圖神經(jīng)網(wǎng)絡(luò)來(lái)建模人-物交互的上下文信息；Zhang等人利用注意力機(jī)制來(lái)提取場(chǎng)景中與交互語(yǔ)義相關(guān)的信息；Yuan等人利用視覺(jué)-語(yǔ)言跨模態(tài)信息來(lái)進(jìn)行輔助交互語(yǔ)義的理解；Liao等人則基于transformer架構(gòu)做了改進(jìn)，將兩個(gè)子任務(wù)進(jìn)行解耦以確認(rèn)交互分類任務(wù)的特征不被用于檢測(cè)人和物體的特征干擾。然而，這些方法對(duì)交互分類中的每個(gè)類別都采用了單一的權(quán)重向量作為該類別的類中心，使得交互分類上的識(shí)別精度還具有很大的提升空間。

發(fā)明內(nèi)容

本發(fā)明是為了解決上述問(wèn)題而進(jìn)行的，目的在于提供一種基于類別索引學(xué)習(xí)的人-物交互分類方法。

本發(fā)明提供了一種基于類別索引學(xué)習(xí)的人-物交互分類方法，具有這樣的特征，用于根據(jù)人-物交互圖像和K個(gè)由不同的圖像類別生成的類別索引得到人-物交互圖像的交互識(shí)別結(jié)果，包括以下步驟：步驟S1，將人-物交互圖像輸入基線人-物對(duì)檢測(cè)器，得到圖像特征I和n個(gè)人-物交互實(shí)例特征；步驟S2，將圖像特征I和K個(gè)類別索引輸入transformer網(wǎng)絡(luò)，得到K個(gè)更新后類別索引；步驟S3，將K個(gè)更新后類別索引輸入圖像分類分?jǐn)?shù)網(wǎng)絡(luò)，得到人-物交互圖像對(duì)應(yīng)各個(gè)圖像類別的K個(gè)圖像分類分?jǐn)?shù)；步驟S4，將K個(gè)更新后類別索引作為對(duì)應(yīng)圖像類別的分類權(quán)重，依次與n個(gè)人-物交互實(shí)例特征計(jì)算余弦相似度，得到各個(gè)人-物交互實(shí)例特征在K個(gè)圖像類別上的實(shí)例分類分?jǐn)?shù)；步驟S5，將K個(gè)圖像分類分?jǐn)?shù)從大到小進(jìn)行排序，選擇前κ個(gè)圖像分類分?jǐn)?shù)作為保留分?jǐn)?shù)，κ個(gè)保留分?jǐn)?shù)對(duì)應(yīng)的圖像類別作為預(yù)測(cè)圖像類別；步驟S6，對(duì)每個(gè)人-物交互實(shí)例特征，依次選取人-物交互實(shí)例特征在預(yù)測(cè)圖像類別上的實(shí)例分類分?jǐn)?shù)構(gòu)建初始硬分?jǐn)?shù)集，通過(guò)κ個(gè)可學(xué)習(xí)參數(shù)[τ₁,…,τ_κ]對(duì)初始硬分?jǐn)?shù)集進(jìn)行調(diào)整，得到人-物交互實(shí)例特征的硬分?jǐn)?shù)集；步驟S7，將人-物交互實(shí)例特征的硬分?jǐn)?shù)集和κ個(gè)保留分?jǐn)?shù)進(jìn)行軟分?jǐn)?shù)融合，得到人-物交互實(shí)例特征的軟分?jǐn)?shù)集，人-物交互圖像的所有人-物交互實(shí)例特征的軟分?jǐn)?shù)集為人-物交互圖像的交互識(shí)別結(jié)果。