[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)系統(tǒng)、基于神經(jīng)網(wǎng)絡(luò)系統(tǒng)的圖像解析方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201310598419.7
• 申請(qǐng)日: 2013-11-22
• 公開（公告）號(hào): CN104657776B
• 公開（公告）日: 2018-06-05
• 發(fā)明（設(shè)計(jì)）人: 羅平;王曉剛;梁炎;劉健莊;湯曉鷗
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號(hào): G06N3/02
• 分類號(hào): G06N3/02;G06K9/66;G06K9/00
• 代理公司: 北京同立鈞成知識(shí)產(chǎn)權(quán)代理有限公司 11205
• 代理人: 劉芳

本發(fā)明實(shí)施例提供一種神經(jīng)網(wǎng)絡(luò)系統(tǒng)、基于神經(jīng)網(wǎng)絡(luò)系統(tǒng)的圖像解析方法和裝置，包括：所述神經(jīng)網(wǎng)絡(luò)系統(tǒng)獲取目標(biāo)事物的第一視覺特征向量x，所述神經(jīng)網(wǎng)絡(luò)系統(tǒng)的遮擋估計(jì)子網(wǎng)絡(luò)根據(jù)目標(biāo)事物的第一視覺特征x向量確定所述目標(biāo)事物被遮擋部分的遮擋標(biāo)記向量x^o，所述遮擋補(bǔ)全子網(wǎng)絡(luò)根據(jù)所述第一視覺特征向量x與所述遮擋標(biāo)記向量x^o確定補(bǔ)全所述遮擋部分后所述目標(biāo)事物的第三視覺特征向量x^c，所述分解子網(wǎng)絡(luò)根據(jù)所述第三視覺特征向量x^o確定所述目標(biāo)事物的各部位的類標(biāo)圖像，組合所述各部位的類標(biāo)圖像得到所述目標(biāo)事物的解析結(jié)果。上述方法能夠解決目標(biāo)事物被遮擋時(shí)的圖像解析問題，即使目標(biāo)事物被遮擋了，也能夠準(zhǔn)確的得到目標(biāo)事物的解析結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)通訊技術(shù)，尤其涉及一種神經(jīng)網(wǎng)絡(luò)系統(tǒng)、基于神經(jīng)網(wǎng)絡(luò)系統(tǒng)的圖像解析方法和裝置。

背景技術(shù)

行人目標(biāo)解析，就是將一幅行人圖像分解成具有特定語義的區(qū)域，例如頭發(fā)、軀干、手臂、腿等。行人目標(biāo)進(jìn)行解析后，可以方便用于行人姿勢估計(jì)、行為分析等多種行人目標(biāo)分析與理解任務(wù)，在圖像與視頻搜索、視頻監(jiān)控等方法都有重要的應(yīng)用價(jià)值。行人目標(biāo)解析問題具有很大的挑戰(zhàn)性，不僅由于行人在表觀、姿勢、形狀等方面具有很大的變化，而且在視頻監(jiān)控等真實(shí)環(huán)境下拍攝到的行人圖像經(jīng)常存在大的遮擋和雜亂的背景。

目前已有的行人目標(biāo)解析方法一般可以分為兩類：模板匹配法和貝葉斯推斷法。模板匹配法是通過預(yù)先建立一個(gè)人體各部位的模板庫，每個(gè)部位收集若干樣本，當(dāng)輸入一幅輸入的行人圖像進(jìn)行解析時(shí)，首先，利用現(xiàn)有的圖像分割算法進(jìn)行分割，得到一組超像素，作為備選的人體各部位區(qū)域，然后，將備選區(qū)域與模板庫中的若干樣本進(jìn)行匹配，將最有可能是某部位的備選區(qū)域排在前面，最后，在一些約束條件下對(duì)最有可能的備選區(qū)域進(jìn)行組合，約束條件包括上半身部位必須出現(xiàn)在下半身上面等，利用層次化的表觀模型對(duì)以上組合進(jìn)行排序，選出最佳組合，作為行人目標(biāo)解析結(jié)果。模板匹配法缺點(diǎn)是過度依賴模板，分解的區(qū)域邊界不準(zhǔn)確，而且沒有考慮目標(biāo)被遮擋情況。貝葉斯推斷法是利用標(biāo)注好的訓(xùn)練圖像，首先，學(xué)習(xí)形狀模型，形狀模型是一個(gè)MSBM，可以確定圖像上每個(gè)像素的類標(biāo)的概率，然后，學(xué)習(xí)表觀模型，表觀模型是每個(gè)人體部位在混合高斯模型下的參數(shù)統(tǒng)計(jì)，可以確定某個(gè)人體部位在某表觀下出現(xiàn)的概率，最后將形狀模型與表觀模型組合得到聯(lián)合模型，確定出圖像、形狀、表觀、類標(biāo)四者之間的聯(lián)合概率。當(dāng)給定測試圖像，利用聯(lián)合模型，通過圖像、形狀和表觀來推斷類標(biāo)，貝葉斯推斷法的缺點(diǎn)是對(duì)雜亂的背景、復(fù)雜的姿勢和許多種類的衣服類型敏感，推斷過程速度慢，沒有考慮遮擋情況。

通過上述可知，現(xiàn)有的行人目標(biāo)解析方法都沒有考慮行人目標(biāo)被遮擋的情況，如果行人目標(biāo)被遮擋，利用現(xiàn)有的方法進(jìn)行解析，會(huì)導(dǎo)致解析結(jié)果不準(zhǔn)確。

發(fā)明內(nèi)容

本發(fā)明提供一種神經(jīng)網(wǎng)絡(luò)系統(tǒng)、基于神經(jīng)網(wǎng)絡(luò)系統(tǒng)的圖像解析方法和裝置，能夠解決目標(biāo)事物被遮擋時(shí)的解析問題，使得解析結(jié)果更加準(zhǔn)確。

本發(fā)明第一方面提供一種基于神經(jīng)網(wǎng)絡(luò)系統(tǒng)的圖像解析方法，包括：

所述神經(jīng)網(wǎng)絡(luò)系統(tǒng)獲取目標(biāo)事物的第一視覺特征向量x，所述神經(jīng)網(wǎng)絡(luò)系統(tǒng)包括遮擋估計(jì)子網(wǎng)絡(luò)、遮擋補(bǔ)全子網(wǎng)絡(luò)、分解子網(wǎng)絡(luò)；

所述遮擋估計(jì)子網(wǎng)絡(luò)根據(jù)目標(biāo)事物的第一視覺特征x向量確定所述目標(biāo)事物被遮擋部分的遮擋標(biāo)記向量x^o，所述遮擋標(biāo)記向量x^o的各分量的取值為大于0小于1；

所述遮擋補(bǔ)全子網(wǎng)絡(luò)根據(jù)所述第一視覺特征向量x與所述遮擋標(biāo)記向量x^o確定所述目標(biāo)事物的第三視覺特征向量x^c，所述第三視覺特征向量x^c為補(bǔ)全所述遮擋部分后所述目標(biāo)事物的視覺特征向量；

所述分解子網(wǎng)絡(luò)根據(jù)所述第三視覺特征向量x^c確定所述目標(biāo)事物的各部位的類標(biāo)圖像，組合所述各部位的類標(biāo)圖像得到所述目標(biāo)事物的解析結(jié)果。