[發(fā)明專利]基于非對(duì)稱聯(lián)合學(xué)習(xí)的人臉畫像-照片識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810023591.2
• 申請(qǐng)日: 2018-01-10
• 公開（公告）號(hào): CN108154133B
• 公開（公告）日: 2020-04-14
• 發(fā)明（設(shè)計(jì)）人: 高新波;曹兵;王楠楠;李潔;彭春蕾;朱明瑞;馬卓奇;張玉倩;郝毅;劉德成;辛經(jīng)緯
• 申請(qǐng)（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 陜西電子工業(yè)專利中心 61205
• 代理人: 田文英;王品華

一種基于非對(duì)稱聯(lián)合學(xué)習(xí)的人臉畫像?照片識(shí)別方法。其步驟為：(1)獲得訓(xùn)練樣本集和測(cè)試樣本集；(2)劃分樣本子集；(3)獲得訓(xùn)練偽樣本集；(4)構(gòu)建非對(duì)稱特征矩陣；(5)計(jì)算非對(duì)稱聯(lián)合學(xué)習(xí)矩陣；(6)計(jì)算畫像樣本與照片樣本的相似度值；(7)得到識(shí)別結(jié)果。本發(fā)明使用深度卷積網(wǎng)絡(luò)提取樣本的深度特征向量，利用非對(duì)稱特征矩陣計(jì)算非對(duì)稱聯(lián)合學(xué)習(xí)矩陣，使用非對(duì)稱聯(lián)合學(xué)習(xí)矩陣計(jì)算畫像與照片的相似度，找出與畫像相似度最大的照片作為識(shí)別結(jié)果。本發(fā)明將訓(xùn)練偽樣本集加入訓(xùn)練過程，并使用非對(duì)稱聯(lián)合學(xué)習(xí)方法增加類內(nèi)信息，能準(zhǔn)確地識(shí)別出畫像對(duì)應(yīng)的照片。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，更進(jìn)一步涉及模式識(shí)別與計(jì)算機(jī)視覺技術(shù)領(lǐng)域中的一種基于非對(duì)稱聯(lián)合學(xué)習(xí)的人臉畫像-照片識(shí)別方法。本發(fā)明可通過所繪人臉畫像檢索識(shí)別與其對(duì)應(yīng)的人臉照片，進(jìn)而確定人臉?biāo)鶎?duì)應(yīng)的身份。

背景技術(shù)

在刑偵追捕中，公安部門備有公民照片數(shù)據(jù)庫(kù)，結(jié)合人臉識(shí)別技術(shù)用以確定犯罪嫌疑人身份，但實(shí)際中一般較難獲得犯罪嫌疑人照片，但卻可以通過目擊者的描述下得到犯罪嫌疑人的素描人臉畫像來進(jìn)行后續(xù)人臉檢索和識(shí)別。由于畫像與普通人臉照片之間有很大的差異，直接用傳統(tǒng)的人臉識(shí)別方法很難獲取得到滿意的識(shí)別效果。

C.Peng等人在其發(fā)表的論文“C.Peng,X.Gao,N.Wang,and J.Li.GraphicalRepresentation for Heterogeneous Face Recognition.IEEE Transactions onPattern Analysis and Machine Intelligence,39(2):301-312,2017”中提出了一種基于幾何表示特征的人臉畫像-照片識(shí)別方法。該方法利用幾何表示特征分別對(duì)人臉畫像和照片進(jìn)行編碼，然后利用人臉畫像編碼與人臉照片編碼的距離關(guān)系檢索識(shí)別人臉照片，進(jìn)而確定人臉?biāo)鶎?duì)應(yīng)的身份。該方法存在的不足之處是，在進(jìn)行人臉畫像編碼和人臉照片編碼時(shí)，由于編碼特征信息不足，導(dǎo)致識(shí)別準(zhǔn)確率較低。

西安電子科技大學(xué)在申請(qǐng)的專利文獻(xiàn)“基于方向圖模型的人臉畫像合成方法”(申請(qǐng)?zhí)枺篊N201610171867.2申請(qǐng)日：2016.03.24申請(qǐng)公布號(hào)：CN105869134A)中公開了一種基于方向圖模型的人臉畫像合成方法，該方法共分為五步。第一步，將訓(xùn)練圖像與輸入測(cè)試圖像均勻分塊，對(duì)于任意測(cè)試照片塊，搜索其若干近鄰照片塊及對(duì)應(yīng)的近鄰畫像塊。第二步，對(duì)測(cè)試照片塊、近鄰照片塊提取方向特征。第三步，使用馬爾科夫圖模型對(duì)測(cè)試照片塊、近鄰照片塊的方向特征及近鄰畫像塊建模，求取由近鄰畫像塊重構(gòu)合成畫像塊的重構(gòu)權(quán)值。第四步，利用重構(gòu)權(quán)值與近鄰畫像塊對(duì)應(yīng)的近鄰照片塊重構(gòu)合成偽照片塊，拼接得到合成人臉偽照片。第五步，利用合成人臉偽照片檢索識(shí)別人臉照片，確定人臉對(duì)應(yīng)的身份信息。該方法存在的不足之處是，由于人臉畫像塊與人臉照片塊之間的紋理信息存在差異，導(dǎo)致合成人臉偽照片與人臉照片間的紋理存在信息損失，因此識(shí)別準(zhǔn)確率較低。

發(fā)明內(nèi)容

本發(fā)明的目的在于針對(duì)上述已有技術(shù)的不足，提出一種基于非對(duì)稱聯(lián)合學(xué)習(xí)的人臉畫像-照片識(shí)別方法，能夠準(zhǔn)確的識(shí)別出人臉畫像對(duì)應(yīng)的人臉照片。

實(shí)現(xiàn)本發(fā)明目的的具體步驟如下：

(1)獲得訓(xùn)練樣本集和測(cè)試樣本集：

(1a)從畫像-照片樣本對(duì)集中，隨機(jī)取出M對(duì)一一對(duì)應(yīng)的畫像-照片樣本對(duì)，組成訓(xùn)練樣本集，2≤M≤U-2，U表示樣本集中人臉畫像-照片樣本對(duì)的總數(shù)；

(1b)將畫像-照片樣本對(duì)集中剩余的畫像-照片樣本對(duì)，組成測(cè)試樣本集；

(2)劃分樣本子集：

(2a)從訓(xùn)練樣本集中隨機(jī)取出K張人臉畫像，組成訓(xùn)練畫像樣本子集，2≤K≤M-2，將訓(xùn)練樣本集中剩余的人臉畫像，組成測(cè)試畫像樣本子集；