[發明專利]基于YU_LBP的卷積神經網絡的表情識別方法

在審

• 申請號: 202310591666.8
• 申請日: 2023-05-24
• 公開（公告）號: CN116631030A
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 吳怡啄;楊定禮;周輝;朱小豪
• 申請（專利權）人: 淮陰工學院
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/82;G06V10/40;G06V10/54;G06V10/20;G06V10/764;G06V10/774;G06V10/24;G06N3/0464;G06N3/08
• 代理公司: 淮安市科文知識產權事務所 32223
• 代理人: 吳晶晶

本發明公開了一種基于YU_LBP的卷積神經網絡的表情識別方法，具體步驟如下：數據準備，在準備好的表情數據集上準確地標簽標記類別；對數據預處理，將RGB圖像轉化YUV圖像,再將原始圖像提取傳統LBP紋理特征，二者特征融合為YU_LBP圖像；改進VGG模型搭建，softmax損失函數與改進island?loss損失函數進行結合，再將YU_LBP圖像輸入改進的VGG網絡中；保存訓練最優的權重；采集面部表情，利用訓練優化后的VGG網絡進行表情識別與分類。本發明用于后輩在工作閑暇時能夠觀測到長輩的情緒狀態，充分的保證了老年人的心理健康，具有一定的準確率，具有高泛化性和魯棒性，同時對社會發展的各個領域有積極的推動作用。

技術領域

本發明涉及一種基于YU_LBP的卷積神經網絡的表情識別方法，屬于圖像處理多分類的技術領域。

背景技術

當今社會，智能及智慧占領先鋒，引領時代發展和城市進步。智能和智慧不得不涉及人與計算機的交流與合作，譬如1)科技領域，隨著機器人的出現和不斷完善，機器人已經可以和人類面對面交流了，不僅從語言情感中獲得信息，也可以從人類面部表情中獲得信息，從而更順暢地交流與探討；2)醫療領域，痛苦不堪的病人和新生兒在無法用言語和聲音來表達含義時，表情顯得尤為重要；3)治安領域，國家的長治久安是必要的，推及到每一個城市及地區，通過表情分類系統的研究及普及，調查幸福、痛苦指數，甚至監測到陌生人鬼鬼祟祟的表情，有助于地區的興旺發達。

在表情識別過程中，需要對待識別圖像進行特征提取，雖然傳統LBP特征提取具有旋轉不變性和灰度不變性等顯著的優點，但是提取到的特征是圖像的局部紋理特征且特征單一，用于圖像的分類與識別過于單薄。傳統island?loss損失函數只通過約束不同的類中心的角度使得類間距離足夠大，沒有考慮到中心的直線距離是否足夠遠，更沒有考慮到類內間距，具有低泛化性，且收斂速度慢。因此對于表情識別，首先直觀而言，準確率有限，需要進一步提高，其次網絡模型的收斂速度有限，魯棒性和泛化性也需要進一步優化。

因此，本發明通過預處理時對圖像類型的創新和對損失函數的改進，提出了一種基于改進VGG網絡的表情識別研究。

發明內容

發明目的：針對背景技術中指出的問題，本發明在面部表情識別與分類中，提供了一種基于YU_LBP的卷積神經網絡的表情識別方法，采用多特征YU_LBP融合圖像在不增加訓練樣本與網絡的基礎上提高網絡準確率、加快收斂速度、節約訓練時長。

技術方案：本發明公開了一種基于YU_LBP的卷積神經網絡的表情識別方法，包括如下步驟：

步驟一、收集帶有表情特征的圖像集，收集完畢不可以直接訓練，對所述帶有表情特征的圖像集進行標簽標記；

步驟二、對原圖像數據集進行YU_LBP轉換得到YU_LBP圖像；先將圖像數據集轉化YUV圖像，并利用LBP算子提取輸入圖像的LBP紋理特征；對于YUV圖像中Y代表明亮度，U和V都代表色度，將V替換為LBP紋理特征；

步驟三、搭建VGG網絡模型，將softmax損失函數與改進island?loss損失函數進行結合，輸出判斷結果的準確率和最終準確率最高的表情結果；所述改進island?loss損失函數采用L2損失減小類內距離，將同類表情之間的距離縮小，用余弦距離損失CDL增大類間距離，將不同種類表情之間距離增大；

步驟四、將步驟三YU_LBP圖像輸入改進的VGG網絡模型中進行學習與訓練，不斷調整參數，最終保存最優權重，得到訓練后的VGG網絡模型；

步驟五、采集人臉圖像，對捕捉到的人臉面部表情利用練后的VGG網絡模型進行識別與分類。

進一步地，所述步驟一中對數據集進行標簽標記的具體包括：

1)收集彩色RGB表情圖片；