[發(fā)明專利]一種基于視覺(jué)顯著性的實(shí)例人體解析方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010148744.3
• 申請(qǐng)日: 2020-03-05
• 公開(kāi)（公告）號(hào): CN111462149B
• 公開(kāi)（公告）日: 2023-06-06
• 發(fā)明（設(shè)計(jì)）人: 汪敏;魏龍生;羅大鵬
• 申請(qǐng)（專利權(quán)）人: 中國(guó)地質(zhì)大學(xué)（武漢）
• 主分類(lèi)號(hào): G06T7/13
• 分類(lèi)號(hào): G06T7/13;G06T5/30;G06T7/90;G06N3/0464
• 代理公司: 武漢知產(chǎn)時(shí)代知識(shí)產(chǎn)權(quán)代理有限公司 42238
• 代理人: 易濱

本發(fā)明公開(kāi)了一種基于視覺(jué)顯著性的實(shí)例人體解析方法，包含步驟：利用顯著性檢測(cè)算法將輸入圖片中的顯著性區(qū)域檢測(cè)出來(lái)，從而獲取顯著性圖；將顯著性圖和輸入圖片相加得到人體被高亮的視覺(jué)增強(qiáng)圖；接下來(lái)將視覺(jué)增強(qiáng)圖作為網(wǎng)絡(luò)輸入，經(jīng)過(guò)公共特征提取網(wǎng)絡(luò)獲取同時(shí)適用于語(yǔ)義分割和邊緣檢測(cè)的公用特征，在公共特征提取網(wǎng)絡(luò)的第3、4、5層卷積層后分別引入側(cè)輸出層，將融合后的側(cè)輸出特征圖送入人體語(yǔ)義分割單元中，得到人體語(yǔ)義分割結(jié)果圖；在公共特征提取網(wǎng)絡(luò)的第3、4、5層卷積層后分別引入側(cè)輸出層，將融合后的側(cè)輸出特征圖分別送入人體邊緣檢測(cè)單元，得到人體邊緣檢測(cè)結(jié)果圖；通過(guò)融合單元將人體語(yǔ)義分割結(jié)果圖和人體邊緣檢測(cè)進(jìn)行融合，從而得到最后的人體解析結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明涉及人體解析領(lǐng)域，更具體地說(shuō)，涉及一種基于視覺(jué)顯著性的實(shí)例人體解析方法。

背景技術(shù)

人體解析是一種細(xì)粒度的語(yǔ)義分割任務(wù)，旨在將人體的各個(gè)部位以及衣物配飾等語(yǔ)義標(biāo)簽分配給圖像中人體的每一個(gè)像素，以提供對(duì)圖片的詳細(xì)理解。目前，對(duì)于單人人體解析的研究已經(jīng)取得了很大的進(jìn)步，產(chǎn)生了眾多優(yōu)秀的算法。但是在人類(lèi)面對(duì)的真實(shí)情景中，很多時(shí)候并非是單個(gè)人的畫(huà)面，實(shí)例人體解析因此成為了必要的研究任務(wù)。實(shí)例人體解析是指在識(shí)別出人體各個(gè)部位類(lèi)別的同時(shí)，進(jìn)一步識(shí)別這些類(lèi)別分別屬于哪一個(gè)實(shí)例。實(shí)例人體解析目前已經(jīng)廣泛應(yīng)用于人體行為分析，視頻監(jiān)控，虛擬現(xiàn)實(shí)等領(lǐng)域。

現(xiàn)有的實(shí)例級(jí)人體解析算法從算法流程出發(fā)大體可以分為兩類(lèi)，基于檢測(cè)的方法和基于分割的方法。基于檢測(cè)的方法大多是先利用檢測(cè)算法定位到每一個(gè)人體實(shí)例，然后對(duì)選中的實(shí)例進(jìn)行人體部分語(yǔ)義分割。例如Liu等人(Liu?S,Sun?Y,Zhu?D,et?al.Cross-domain?human?parsing?via?adversarial?feature?and?label?adaptation[C]//Thirty-Second?AAAI?Conference?on?Artificial?Intelligence.2018)首先利用目標(biāo)檢測(cè)的方法，通過(guò)訓(xùn)練檢測(cè)網(wǎng)絡(luò)得到人體實(shí)例目標(biāo)框，再與人體解析得到的全局分類(lèi)合并。Ruan?T等(Ruan?T,Liu?T,HuangZ,et?al.Devil?in?the?details:Towards?accurate?single?andmultiple?human?parsing[C]//Proceedings?of?the?AAAI?Conference?on?ArtificialIntelligence.2019,33:4814-4821)首先提出了人體解析模型CE2P，然后對(duì)于單人圖片，先通過(guò)Mask-RCNN(He?K,Gkioxari?G,Dollár?P,et?al.Mask?r-cnn[C]//Proceedings?ofthe?IEEE?international?conference?on?computer?vision.2017:2961-2969)將圖片中的每一個(gè)人檢測(cè)出來(lái)并處理成滿足CE2P輸入尺寸的單獨(dú)的圖片，再分別利用CE2P模型對(duì)每一個(gè)實(shí)例進(jìn)行分割，最后將所有的分割結(jié)果融合以得到最后的解析結(jié)果。然而，分別獨(dú)立訓(xùn)練用于粗略定位的檢測(cè)網(wǎng)絡(luò)和用于細(xì)致分割的分割網(wǎng)絡(luò)可能會(huì)導(dǎo)致檢測(cè)結(jié)果和分割結(jié)果不一致，這種網(wǎng)絡(luò)模式不僅訓(xùn)練耗時(shí)，而且預(yù)測(cè)結(jié)果也會(huì)過(guò)于依賴檢測(cè)網(wǎng)絡(luò)的準(zhǔn)確性。