[發(fā)明專利]一種基于半監(jiān)督雙源人臉特征融合的人臉識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202211409940.7
• 申請(qǐng)日: 2022-11-11
• 公開（公告）號(hào): CN115690886A
• 公開（公告）日: 2023-02-03
• 發(fā)明（設(shè)計(jì)）人: 萬建武;霍冠英;李慶武;王連濤;閔超波
• 申請(qǐng)（專利權(quán)）人: 河海大學(xué)
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16;G06V10/80;G06V10/764;G06N3/0895
• 代理公司: 南京縱橫知識(shí)產(chǎn)權(quán)代理有限公司 32224
• 代理人: 董建林

本發(fā)明公開了一種基于半監(jiān)督雙源人臉特征融合的人臉識(shí)別方法，針對(duì)真實(shí)人臉識(shí)別應(yīng)用中存在的半監(jiān)督、多視圖以及代價(jià)敏感學(xué)習(xí)問題，其包括：獲取預(yù)設(shè)雙視圖下的多個(gè)人臉圖像數(shù)據(jù)；將人臉圖像數(shù)據(jù)輸入訓(xùn)練好的半監(jiān)督代價(jià)敏感典型相關(guān)分析模型；利用半監(jiān)督代價(jià)敏感典型相關(guān)分析模型中的代價(jià)敏感特征提取矩陣進(jìn)行雙源特征融合，得到人臉圖像數(shù)據(jù)的特征表示；根據(jù)人臉圖像數(shù)據(jù)的特征表示，利用分類模型進(jìn)行分類，得到人臉識(shí)別結(jié)果。本發(fā)明能夠在僅使用少量監(jiān)督的雙源人臉圖像的條件下，得到準(zhǔn)確可靠的人臉識(shí)別結(jié)果，有效提高了人臉識(shí)別模型的分類性能。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于半監(jiān)督雙源人臉特征融合的人臉識(shí)別方法，屬于人臉圖像處理技術(shù)領(lǐng)域。

背景技術(shù)

近幾十年來，人臉識(shí)別技術(shù)取得了飛速發(fā)展和廣泛應(yīng)用。現(xiàn)有人臉識(shí)別方法常常僅使用單源人臉圖像，訓(xùn)練人臉識(shí)別分類預(yù)測模型。當(dāng)人臉圖像受到噪聲等因素的“污染”時(shí)，基于單源人臉圖像，很難學(xué)得魯棒的人臉識(shí)別模型。事實(shí)上，在實(shí)際生活中，我們?nèi)菀撰@得多源人臉圖像，例如，不同攝像機(jī)視角下的人臉圖像、分別由自然光和紅外線成像的人臉圖像等。直覺地，不同視圖間的人臉圖像，存在著互補(bǔ)的人臉識(shí)別信息。如果能將多源人臉圖像，進(jìn)行特征融合，提取出額外的視圖間互補(bǔ)的人臉識(shí)別信息，可以提高人臉識(shí)別模型的分類精度。

現(xiàn)有人臉識(shí)別方法的另一個(gè)缺陷是追求最小的識(shí)別錯(cuò)誤率，即假設(shè)不同錯(cuò)誤分類所帶來的損失相同。然而，在真實(shí)的人臉識(shí)別應(yīng)用中，這一假設(shè)往往不成立，不同錯(cuò)誤分類所帶來的錯(cuò)分損失不同。例如，在人臉識(shí)別門禁系統(tǒng)中，假設(shè)存在入侵者類和合法者類，明顯地，將入侵者錯(cuò)分成合法者的損失遠(yuǎn)高于將合法者錯(cuò)分成入侵者的損失，而將合法者錯(cuò)分成其他合法者的損失又要低于將合法者錯(cuò)分成入侵者的損失。

此外，現(xiàn)有人臉識(shí)別方法常假設(shè)監(jiān)督的訓(xùn)練數(shù)據(jù)集，即所有的訓(xùn)練圖像都已被手工標(biāo)注。事實(shí)上，手工標(biāo)注人臉圖像較困難，需要付出大量的人力和財(cái)力。因此，在實(shí)際應(yīng)用中，人們往往更關(guān)注半監(jiān)督條件下的人臉識(shí)別模型，即訓(xùn)練集中只有少量人臉圖像被標(biāo)注，其余大部分人臉圖像的標(biāo)簽信息未知。

針對(duì)真實(shí)人臉識(shí)別應(yīng)用中存在的半監(jiān)督和多視圖學(xué)習(xí)問題，研究者提出了許多半監(jiān)督多視圖人臉識(shí)別方法。但，這些方法都是代價(jià)不敏感的學(xué)習(xí)模型，忽略了人臉識(shí)別中存在的不等錯(cuò)分損失問題；針對(duì)真實(shí)人臉識(shí)別應(yīng)用中存在的半監(jiān)督和代價(jià)敏感學(xué)習(xí)問題，研究者提出了許多半監(jiān)督的代價(jià)敏感人臉識(shí)別模型。但，這些方法僅使用單源人臉圖像用于人臉識(shí)別模型的構(gòu)建，忽略了多源人臉圖像間存在的互補(bǔ)人臉識(shí)別信息。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)中存在的問題，本發(fā)明提出了一種基于半監(jiān)督雙源人臉特征融合的人臉識(shí)別方法，能夠?qū)㈦p源人臉圖像進(jìn)行特征融合，獲得視圖間互補(bǔ)的人臉識(shí)別信息，而且學(xué)得的代價(jià)敏感人臉特征表示滿足最小錯(cuò)分損失準(zhǔn)則，能夠有效提高人臉識(shí)別模型的分類性能。

為解決上述技術(shù)問題，本發(fā)明采用了如下技術(shù)手段：

本發(fā)明提出了一種基于半監(jiān)督雙源人臉特征融合的人臉識(shí)別方法，包括如下步驟：

獲取預(yù)設(shè)雙視圖下的多個(gè)人臉圖像數(shù)據(jù)；

將人臉圖像數(shù)據(jù)輸入訓(xùn)練好的半監(jiān)督代價(jià)敏感典型相關(guān)分析模型；

利用半監(jiān)督代價(jià)敏感典型相關(guān)分析模型中的代價(jià)敏感特征提取矩陣進(jìn)行雙源特征融合，得到人臉圖像數(shù)據(jù)的特征表示；

根據(jù)人臉圖像數(shù)據(jù)的特征表示，利用分類模型進(jìn)行分類，得到人臉識(shí)別結(jié)果。

進(jìn)一步的，半監(jiān)督代價(jià)敏感典型相關(guān)分析模型的目標(biāo)函數(shù)表達(dá)式如下：