[發(fā)明專利]基于深度解耦的人體實(shí)例解析方法、系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010592997.X
• 申請(qǐng)日: 2020-06-25
• 公開（公告）號(hào): CN111738174B
• 公開（公告）日: 2022-09-20
• 發(fā)明（設(shè)計(jì)）人: 陳盈盈;朱炳科;王金橋;唐明
• 申請(qǐng)（專利權(quán)）人: 中國科學(xué)院自動(dòng)化研究所;中國科學(xué)技術(shù)信息研究所
• 主分類號(hào): G06V40/10
• 分類號(hào): G06V40/10;G06V20/70;G06V10/762;G06V10/40;G06V10/82;G06V10/75;G06N3/04;G06N3/08
• 代理公司: 北京市恒有知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11576
• 代理人: 郭文浩;尹文會(huì)

本發(fā)明屬于計(jì)算機(jī)視覺領(lǐng)域，具體涉及一種基于深度解耦的人體實(shí)例解析方法、系統(tǒng)，旨在為了解決漏檢和誤檢影響實(shí)例人體解析識(shí)別精度的問題，本發(fā)明方法包括：獲取輸入圖像中候選區(qū)域的實(shí)例檢測框和特征；所述候選區(qū)域?yàn)槿梭w實(shí)例的候選區(qū)域；所述人體實(shí)例包括人體整體實(shí)例、人體部件實(shí)例；基于所述候選區(qū)域的特征，獲取候選區(qū)域?qū)?yīng)實(shí)例的實(shí)例掩模和實(shí)例特征；基于各候選區(qū)域?qū)?yīng)的實(shí)例檢測框、實(shí)例掩模、實(shí)例特征，通過層級(jí)式聚類算法進(jìn)行人體整體?人體部件關(guān)聯(lián)聚類，獲取人體實(shí)例解析結(jié)果。本發(fā)明可以提升實(shí)例人體解析的識(shí)別精度并減少人體實(shí)例的漏檢和誤檢。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺領(lǐng)域，具體涉及一種基于深度解耦的人體實(shí)例解析方法、系統(tǒng)。

背景技術(shù)

人體解析研究將圖像中每個(gè)人體部件(如頭發(fā)、臉、軀干、腿等)從背景中提取出來并依據(jù)部件類別定義分割成不同語義區(qū)域，從而賦予全圖每個(gè)像素對(duì)應(yīng)的語義類別標(biāo)簽。而實(shí)例人體解析則進(jìn)一步將各人體部件與其從屬的人體關(guān)聯(lián)，將各部件的語義區(qū)域劃分給不同人體實(shí)例。當(dāng)前大部分實(shí)例人體解析方法采取先檢測再解析的流程，該流程先定位整個(gè)人體檢測框作為實(shí)例，再對(duì)每個(gè)實(shí)例檢測框進(jìn)行像素級(jí)語義解析。這類方法由于圖像中包含多人且人體姿態(tài)多種多樣導(dǎo)致兩類問題：檢測框出現(xiàn)偏差未能包含該人體實(shí)例的所有部件因此后續(xù)語義解析階段繼承偏差無法解析漏掉的部件；當(dāng)多個(gè)人體實(shí)例大面積重疊時(shí)，一個(gè)檢測框中可能包含了多個(gè)人體實(shí)例無法區(qū)別且語義解析階段仍基于檢測框中只包含一個(gè)人體實(shí)例進(jìn)行解析導(dǎo)致誤識(shí)別。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)中的上述問題，即為了解決漏檢和誤檢影響實(shí)例人體解析識(shí)別精度的問題，本發(fā)明的第一方面，提出了一種基于深度解耦的人體實(shí)例解析方法，該方法包括以下步驟：

步驟S100，獲取輸入圖像中候選區(qū)域的實(shí)例檢測框和特征；所述候選區(qū)域?yàn)槿梭w實(shí)例的候選區(qū)域；所述人體實(shí)例包括人體整體實(shí)例、人體部件實(shí)例；

步驟S200，基于所述候選區(qū)域的特征，獲取候選區(qū)域?qū)?yīng)實(shí)例的實(shí)例掩模和實(shí)例特征；

步驟S300，基于各候選區(qū)域?qū)?yīng)的實(shí)例檢測框、實(shí)例掩模、實(shí)例特征，通過層級(jí)式聚類算法進(jìn)行人體整體-人體部件關(guān)聯(lián)聚類，獲取人體實(shí)例解析結(jié)果。

在一些優(yōu)選的實(shí)施方式中，步驟S100中“獲取輸入圖像中候選區(qū)域的實(shí)例檢測框和特征”，其方法包括：

步驟S110，基于卷積神經(jīng)網(wǎng)絡(luò)提取所述輸入圖像的圖像特征，作為第一特征；

步驟S120，基于所述第一特征，獲取所述候選區(qū)域的中人體整體實(shí)例和人體部件實(shí)例的實(shí)例檢測框，并提取各實(shí)例檢測框的內(nèi)圖像的特征，作為第二特征。

在一些優(yōu)選的實(shí)施方式中，步驟S110中“基于卷積神經(jīng)網(wǎng)絡(luò)提取所述輸入圖像的圖像特征”，其方法包括：

對(duì)所述輸入圖像，通過深度卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征，并基于可形變卷積的特征金字塔網(wǎng)絡(luò)提取不同尺度的圖像特征。

在一些優(yōu)選的實(shí)施方式中，步驟S200中“獲取候選區(qū)域?qū)?yīng)實(shí)例的實(shí)例掩模和實(shí)例特征”，其方法包括：

步驟S210，基于所述第二特征，提取每個(gè)候選區(qū)域中的對(duì)應(yīng)人體實(shí)例的掩模，作為實(shí)例掩模；

步驟S220，基于每個(gè)候選區(qū)的實(shí)例掩模，對(duì)相應(yīng)的第二特征進(jìn)行加權(quán)，獲取候選區(qū)域中對(duì)應(yīng)人體實(shí)例的特征，作為實(shí)例特征。

在一些優(yōu)選的實(shí)施方式中，步驟S300中“通過層級(jí)式聚類算法進(jìn)行人體整體-人體部件關(guān)聯(lián)聚類，獲取人體實(shí)例解析結(jié)果”，其方法包括：

步驟S310，根據(jù)各候選區(qū)域?qū)?yīng)的實(shí)例檢測框進(jìn)行聚類，得到第一聚類結(jié)果I_S1；