[發(fā)明專(zhuān)利]一種基于雙判別器生成對(duì)抗網(wǎng)絡(luò)的唇語(yǔ)識(shí)別方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202110772322.8
• 申請(qǐng)日: 2021-07-08
• 公開(kāi)（公告）號(hào): CN113239902B
• 公開(kāi)（公告）日: 2021-09-28
• 發(fā)明（設(shè)計(jì)）人: 劉麗;張成偉;張雪毅;薛桂香;趙雨
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)人民解放軍國(guó)防科技大學(xué)
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G06K9/62;G06T17/00;G06N3/04
• 代理公司: 北京風(fēng)雅頌專(zhuān)利代理有限公司 11403
• 代理人: 曾志鵬

本申請(qǐng)涉及一種基于雙判別器生成對(duì)抗網(wǎng)絡(luò)的唇語(yǔ)識(shí)別方法及裝置，該方法包括：從視頻中導(dǎo)出不同角度的人臉圖片，根據(jù)所述人臉圖片中不同的頭部偏轉(zhuǎn)角度得到唇部多角度數(shù)據(jù)集；并根據(jù)唇部多角度數(shù)據(jù)集得到的生成器數(shù)據(jù)集、身份判別器數(shù)據(jù)集、角度判別器數(shù)據(jù)集，再生成對(duì)抗網(wǎng)絡(luò)數(shù)據(jù)模型；利用所述對(duì)抗網(wǎng)絡(luò)數(shù)據(jù)模型對(duì)待識(shí)別的視頻進(jìn)行唇語(yǔ)識(shí)別，轉(zhuǎn)換得到0°唇部圖像；從所述0°唇部圖像提取唇部特征向量，對(duì)所述唇部特征向量進(jìn)行建模分類(lèi)，得到唇部分類(lèi)結(jié)果，根據(jù)所述唇部分類(lèi)結(jié)果導(dǎo)出識(shí)別語(yǔ)言。本發(fā)明實(shí)施例具有和真實(shí)環(huán)境相似的視覺(jué)效果，可以很好的指導(dǎo)模型適應(yīng)實(shí)際應(yīng)用環(huán)境，進(jìn)一步提升唇語(yǔ)識(shí)別模型的準(zhǔn)確率。

技術(shù)領(lǐng)域

本申請(qǐng)涉及人工智能領(lǐng)域，特別是涉及一種基于雙判別器生成對(duì)抗網(wǎng)絡(luò)的唇語(yǔ)識(shí)別方法及裝置。

背景技術(shù)

唇語(yǔ)識(shí)別是一項(xiàng)結(jié)合計(jì)算機(jī)視覺(jué)和自然語(yǔ)言處理的復(fù)雜任務(wù)，可以用來(lái)自動(dòng)推斷視覺(jué)和聽(tīng)覺(jué)信息包含的文字內(nèi)容，具有很廣的應(yīng)用價(jià)值，如從無(wú)聲監(jiān)控視頻或電影中恢復(fù)語(yǔ)音。最近幾年，唇語(yǔ)識(shí)別的發(fā)展主要受以下兩方面的推動(dòng)：首先是深度學(xué)習(xí)技術(shù)的快速發(fā)展，這是一種源于神經(jīng)科學(xué)的技術(shù)，在圖像處理，語(yǔ)言模型等領(lǐng)域都取得了巨大的成功。其次是大型數(shù)據(jù)集的提出，他們?yōu)榇秸Z(yǔ)識(shí)別提供了大量的訓(xùn)練數(shù)據(jù)和復(fù)雜的環(huán)境變化，極大地促進(jìn)了唇語(yǔ)識(shí)別的發(fā)展。

大多數(shù)的唇語(yǔ)識(shí)別模型包含前端特征提取模型和后端分類(lèi)模型。前端特征提取模型主要負(fù)責(zé)提取序列的每一幀的特征和每幀之間的變化特征。后端分類(lèi)模型主要負(fù)責(zé)從前端模型輸出的特征向量中學(xué)習(xí)整個(gè)序列的模式變化。但在特征提取階段，大部分方法只采用簡(jiǎn)單的數(shù)據(jù)預(yù)處理，如隨機(jī)裁切，水平翻轉(zhuǎn)，增加對(duì)比度等，這些預(yù)處理方法只能一定程度上緩解過(guò)擬合問(wèn)題，并不能很好的解決說(shuō)話者狀態(tài)如面部偏轉(zhuǎn)等對(duì)特征提取的影響。

發(fā)明內(nèi)容

基于此，有必要針對(duì)上述技術(shù)問(wèn)題，提供一種基于雙判別器生成對(duì)抗網(wǎng)絡(luò)的唇語(yǔ)識(shí)別方法及裝置。

第一方面，本發(fā)明實(shí)施例提供了一種基于雙判別器生成對(duì)抗網(wǎng)絡(luò)的唇語(yǔ)識(shí)別方法，包括以下步驟：

從視頻中導(dǎo)出不同角度的人臉圖片，根據(jù)所述人臉圖片中不同的頭部偏轉(zhuǎn)角度得到唇部多角度數(shù)據(jù)集；

根據(jù)所述唇部多角度數(shù)據(jù)集得到生成器數(shù)據(jù)集，并從所述唇部多角度數(shù)據(jù)集分別提取得到身份判別器數(shù)據(jù)集、角度判別器數(shù)據(jù)集、角度分類(lèi)數(shù)據(jù)集；

訓(xùn)練所述生成器數(shù)據(jù)集、身份判別器數(shù)據(jù)集、角度判別器數(shù)據(jù)集得到對(duì)抗網(wǎng)絡(luò)數(shù)據(jù)模型，訓(xùn)練所述角度分類(lèi)數(shù)據(jù)集得到角度分類(lèi)器；

利用所述角度分類(lèi)器對(duì)待識(shí)別的視頻進(jìn)行唇語(yǔ)識(shí)別，得到第一唇部圖像，利用所述對(duì)抗網(wǎng)絡(luò)數(shù)據(jù)模型轉(zhuǎn)換所述第一唇部圖像得到0°唇部圖像；

從所述0°唇部圖像提取唇部特征向量，對(duì)所述唇部特征向量進(jìn)行建模分類(lèi)，得到唇部分類(lèi)結(jié)果，根據(jù)所述唇部分類(lèi)結(jié)果導(dǎo)出識(shí)別語(yǔ)言。

進(jìn)一步的，所述從視頻中導(dǎo)出不同角度的人臉圖片，根據(jù)所述人臉圖片中不同的頭部偏轉(zhuǎn)角度得到唇部多角度數(shù)據(jù)集，包括：

將視頻中人臉圖片按照不同角度進(jìn)行的每一幀拆分，得到每一幀的正視圖，左視圖，右視圖組成的三視圖圖片；

使用人臉建模工具和所述三視圖圖片對(duì)每一幀面部圖像進(jìn)行人臉建模，導(dǎo)出人臉模型；

對(duì)所述人臉模型的不同角度對(duì)應(yīng)的視圖，使用標(biāo)注工具標(biāo)注特征點(diǎn)，定位唇部區(qū)域，裁切出唇部區(qū)域，得到唇部多角度數(shù)據(jù)集。

進(jìn)一步的，所述根據(jù)所述人臉圖片得到生成器數(shù)據(jù)集，從所述唇部多角度數(shù)據(jù)集分別提取得到身份判別器數(shù)據(jù)集、角度判別器數(shù)據(jù)集、角度分類(lèi)數(shù)據(jù)集，包括：

使用頭部姿態(tài)估計(jì)算法對(duì)所述唇部多角度數(shù)據(jù)集的人臉進(jìn)行處理，得到人臉的偏轉(zhuǎn)角度；

根據(jù)所述唇部多角度數(shù)據(jù)集中的隨機(jī)選取不同的人臉圖片，并標(biāo)記每張人臉圖片的說(shuō)話者身份和偏轉(zhuǎn)角度；