[發明專利]一種基于雙判別器生成對抗網絡的唇語識別方法及裝置

有效

• 申請號: 202110772322.8
• 申請日: 2021-07-08
• 公開（公告）號: CN113239902B
• 公開（公告）日: 2021-09-28
• 發明（設計）人: 劉麗;張成偉;張雪毅;薛桂香;趙雨
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T17/00;G06N3/04
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 曾志鵬

1.一種基于雙判別器生成對抗網絡的唇語識別方法，其特征在于，包括以下步驟：

從視頻中導出不同角度的人臉圖片，根據所述人臉圖片中不同的頭部偏轉角度得到唇部多角度數據集；

根據所述唇部多角度數據集得到生成器數據集，并從所述唇部多角度數據集分別提取得到身份判別器數據集、角度判別器數據集、角度分類數據集；

訓練所述生成器數據集、身份判別器數據集、角度判別器數據集得到對抗網絡數據模型，訓練所述角度分類數據集得到角度分類器；

利用所述角度分類器對待識別的視頻進行唇語識別，得到第一唇部圖像，利用所述對抗網絡數據模型轉換所述第一唇部圖像得到0°唇部圖像；

從所述0°唇部圖像提取唇部特征向量，對所述唇部特征向量進行建模分類，得到唇部分類結果，根據所述唇部分類結果導出識別語言；

生成對抗網絡模型包含一個生成器，一個身份判別器，一個角度判別器；

生成器是以帶有偏轉的唇部圖像為輸入，輸出轉換后的唇部圖像的網絡模型；

身份判別器以身份判別器數據集的成對的兩張身份相同或身份不同的圖片為輸入，經卷積后得到身份特征向量，再將所述身份特征向量拼接在一起，經過全連接網絡計算后得到一個身份數值，所述身份數值表示身份判別器對身份屬性差異的評分；

角度判別器以角度判別器數據集的成對的兩張身份相同，角度不同的圖片為輸入，經卷積后得到角度特征向量，將所述角度特征向量拼接在一起，經過全連接網絡計算后得到一個角度數值，所述角度數值表示角度判別器對角度屬性差異的評分。

2.根據權利要求1所述的基于雙判別器生成對抗網絡的唇語識別方法，其特征在于，所述從視頻中導出不同角度的人臉圖片，根據所述人臉圖片中不同的頭部偏轉角度得到唇部多角度數據集，包括：

將視頻中人臉圖片按照不同角度進行的每一幀拆分，得到每一幀的正視圖，左視圖，右視圖組成的三視圖圖片；

使用人臉建模工具和所述三視圖圖片對每一幀面部圖像進行人臉建模，導出人臉模型；

對所述人臉模型的不同角度對應的視圖，使用標注工具標注特征點，定位唇部區域，裁切出唇部區域，得到唇部多角度數據集。

3.根據權利要求1所述的基于雙判別器生成對抗網絡的唇語識別方法，其特征在于，所述根據所述人臉圖片得到生成器數據集，從所述唇部多角度數據集分別提取得到身份判別器數據集、角度判別器數據集、角度分類數據集，包括：

使用頭部姿態估計算法對所述唇部多角度數據集的人臉進行處理，得到人臉的偏轉角度；

根據所述唇部多角度數據集中的隨機選取不同的人臉圖片，并標記每張人臉圖片的說話者身份和偏轉角度；

從所述唇部多角度數據集的人臉身份提取身份判別器數據集，從所述唇部多角度數據集中頭部偏轉角度提取角度判別器數據集，從所述唇部多角度數據集的人臉角度提取角度分類數據集。

4.根據權利要求1所述的基于雙判別器生成對抗網絡的唇語識別方法，其特征在于，所述利用所述角度分類器對待識別的視頻進行唇語識別，得到第一唇部圖像，利用所述對抗網絡數據模型轉換所述第一唇部圖像得到0°唇部圖像，包括：

待識別的視頻分離出人臉的圖片輸入到角度分類器，得到第一唇部圖像，并對所述第一唇部圖像進行估算，得到待識別人臉偏轉的角度；

通過所述對抗網絡數據模型構建6個一級轉換器，利用所述一級轉換器對所述待識別人臉偏轉的角度進行一級轉換，得到0°唇部圖像、±20°唇部圖像、±40°唇部圖像；

利用所述角度判別器數據集、身份判別器數據集、生成器數據集構建二級轉換器，將±20°唇部圖像、±40°唇部圖像轉換為0°唇部圖像。