[發(fā)明專(zhuān)利]基于非對(duì)稱(chēng)聯(lián)合學(xué)習(xí)的人臉畫(huà)像-照片識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810023591.2
• 申請(qǐng)日: 2018-01-10
• 公開(kāi)（公告）號(hào): CN108154133B
• 公開(kāi)（公告）日: 2020-04-14
• 發(fā)明（設(shè)計(jì)）人: 高新波;曹兵;王楠楠;李潔;彭春蕾;朱明瑞;馬卓奇;張玉倩;郝毅;劉德成;辛經(jīng)緯
• 申請(qǐng)（專(zhuān)利權(quán)）人: 西安電子科技大學(xué)
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G06K9/62
• 代理公司: 陜西電子工業(yè)專(zhuān)利中心 61205
• 代理人: 田文英;王品華

1.一種基于非對(duì)稱(chēng)聯(lián)合學(xué)習(xí)的人臉畫(huà)像-照片識(shí)別方法，其特征在于，包括如下步驟：

(1)獲得訓(xùn)練樣本集和測(cè)試樣本集：

(1a)從畫(huà)像-照片樣本對(duì)集中，隨機(jī)取出M對(duì)一一對(duì)應(yīng)的畫(huà)像-照片樣本對(duì)，組成訓(xùn)練樣本集，2≤M≤U-2，U表示樣本集中人臉畫(huà)像-照片樣本對(duì)的總數(shù)；

(1b)將畫(huà)像-照片樣本對(duì)集中剩余的畫(huà)像-照片樣本對(duì)，組成測(cè)試樣本集；

(2)劃分樣本子集：

(2a)從訓(xùn)練樣本集中隨機(jī)取出K張人臉畫(huà)像，組成訓(xùn)練畫(huà)像樣本子集，2≤K≤M-2，將訓(xùn)練樣本集中剩余的人臉畫(huà)像，組成測(cè)試畫(huà)像樣本子集；

(2b)從訓(xùn)練樣本集中取出與訓(xùn)練畫(huà)像樣本子集的樣本一一對(duì)應(yīng)的人臉照片，組成訓(xùn)練照片樣本子集，將訓(xùn)練樣本集中剩余的人臉照片，組成測(cè)試照片樣本子集；

(3)獲得訓(xùn)練偽樣本集：

(3a)將訓(xùn)練照片樣本子集中的樣本，劃分為大小相同、相互重疊的訓(xùn)練照片塊矩陣；

(3b)對(duì)測(cè)試畫(huà)像樣本子集與訓(xùn)練畫(huà)像樣本子集進(jìn)行聯(lián)合學(xué)習(xí)，得到每個(gè)測(cè)試畫(huà)像的重構(gòu)系數(shù)向量，將重構(gòu)系數(shù)向量中的每個(gè)元素與一一對(duì)應(yīng)的訓(xùn)練照片塊矩陣相乘，得到重構(gòu)人臉照片塊；

(3c)依次拼接重構(gòu)人臉照片塊，得到每個(gè)訓(xùn)練照片偽樣本，將所有的訓(xùn)練照片偽樣本組成訓(xùn)練照片偽樣本子集；

(3d)將訓(xùn)練畫(huà)像樣本子集中的每個(gè)樣本劃分為大小相同、相互重疊的訓(xùn)練畫(huà)像塊矩陣；

(3e)對(duì)測(cè)試照片樣本子集與訓(xùn)練照片樣本子集進(jìn)行聯(lián)合學(xué)習(xí)，得到每個(gè)測(cè)試照片的重構(gòu)系數(shù)向量，將重構(gòu)系數(shù)向量中的每個(gè)元素與一一對(duì)應(yīng)的訓(xùn)練畫(huà)像塊矩陣相乘，得到重構(gòu)人臉畫(huà)像塊；

(3f)依次拼接重構(gòu)人臉照片塊，得到每個(gè)訓(xùn)練畫(huà)像偽樣本，組成訓(xùn)練畫(huà)像偽樣本子集；

(4)構(gòu)建非對(duì)稱(chēng)特征矩陣：

(4a)分別將訓(xùn)練樣本集、訓(xùn)練偽樣本集中畫(huà)像-照片對(duì)的每個(gè)樣本，依次輸入到深度卷積網(wǎng)絡(luò)VGG-Face中，將深度卷積網(wǎng)絡(luò)VGG-Face輸出層中所有的神經(jīng)元輸出值，組成每個(gè)樣本的深度特征向量；

(4b)將所有樣本的深度特征向量，組成非對(duì)稱(chēng)聯(lián)合學(xué)習(xí)類(lèi)內(nèi)特征矩陣；

(4c)將訓(xùn)練樣本集中每個(gè)畫(huà)像-照片對(duì)的畫(huà)像深度特征向量與照片深度特征向量相加后取平均，將所有畫(huà)像-照片對(duì)的平均向量組成非對(duì)稱(chēng)聯(lián)合學(xué)習(xí)類(lèi)間特征矩陣；

(5)計(jì)算非對(duì)稱(chēng)聯(lián)合學(xué)習(xí)矩陣：

(5a)利用協(xié)方差公式，分別計(jì)算類(lèi)內(nèi)協(xié)方差矩陣和類(lèi)間協(xié)方差矩陣；

(5b)利用非對(duì)稱(chēng)聯(lián)合學(xué)習(xí)公式，計(jì)算非對(duì)稱(chēng)聯(lián)合學(xué)習(xí)矩陣；

(6)利用非對(duì)稱(chēng)聯(lián)合學(xué)習(xí)矩陣，計(jì)算每個(gè)畫(huà)像樣本與每個(gè)照片樣本的相似度值：

(6a)將測(cè)試樣本集中每個(gè)畫(huà)像樣本，依次輸入到深度卷積網(wǎng)絡(luò)VGG-Face中，將深度卷積網(wǎng)絡(luò)VGG-Face輸出層中每個(gè)神經(jīng)元的輸出值，組成每個(gè)測(cè)試畫(huà)像樣本的深度特征向量；

(6b)將測(cè)試樣本集中每個(gè)照片樣本，依次輸入到深度卷積網(wǎng)絡(luò)VGG-Face中，將深度卷積網(wǎng)絡(luò)VGG-Face輸出層中每個(gè)神經(jīng)元的輸出值，組成每個(gè)測(cè)試照片樣本的深度特征向量；

(6c)根據(jù)聯(lián)合相似度公式，利用非對(duì)稱(chēng)聯(lián)合學(xué)習(xí)矩陣和測(cè)試樣本的特征向量，計(jì)算測(cè)試樣本集中每個(gè)畫(huà)像樣本和每個(gè)照片樣本的相似度；

(7)從所有照片樣本中，找出與每個(gè)畫(huà)像樣本相似度數(shù)值最大的照片樣本，作為識(shí)別結(jié)果。