[發明專利]基于YU_LBP的卷積神經網絡的表情識別方法

在審

• 申請號: 202310591666.8
• 申請日: 2023-05-24
• 公開（公告）號: CN116631030A
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 吳怡啄;楊定禮;周輝;朱小豪
• 申請（專利權）人: 淮陰工學院
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/82;G06V10/40;G06V10/54;G06V10/20;G06V10/764;G06V10/774;G06V10/24;G06N3/0464;G06N3/08
• 代理公司: 淮安市科文知識產權事務所 32223
• 代理人: 吳晶晶

1.一種基于YU_LBP的卷積神經網絡的表情識別方法，其特征在于，包括如下步驟：

步驟一、收集帶有表情特征的圖像集，收集完畢不可以直接訓練，對所述帶有表情特征的圖像集進行標簽標記；

步驟二、對原圖像數據集進行YU_LBP轉換得到YU_LBP圖像；先將圖像數據集轉化YUV圖像，并利用LBP算子提取輸入圖像的LBP紋理特征；對于YUV圖像中Y代表明亮度，U和V都代表色度，將V替換為LBP紋理特征；

步驟三、搭建VGG網絡模型，將softmax損失函數與改進island?loss損失函數進行結合，輸出判斷結果的準確率和最終準確率最高的表情結果；所述改進island?loss損失函數采用L2損失減小類內距離，將同類表情之間的距離縮小，用余弦距離損失CDL增大類間距離，將不同種類表情之間距離增大；

步驟四、將步驟三YU_LBP圖像輸入改進的VGG網絡模型中進行學習與訓練，不斷調整參數，最終保存最優權重，得到訓練后的VGG網絡模型；

步驟五、采集人臉圖像，對捕捉到的人臉面部表情利用練后的VGG網絡模型進行識別與分類。

2.根據權利要求1所述的基于YU_LBP的卷積神經網絡的表情識別方法，其特征在于，所述步驟一中對數據集進行標簽標記的具體包括：

1)收集彩色RGB表情圖片；

2)按照7：3的比例分為訓練集和測試集，將所述數據集中的面部表情共分為7類，分別為驚訝Surprise、恐懼Fear、厭惡Disgust、幸福Happiness、傷心Sadness、憤怒Anger、正常Neutral，分別標記為0～6。

3.根據權利要求1所述的基于YU_LBP的卷積神經網絡的表情識別方法，其特征在于，所述步驟二中對原圖像數據集進行YU_LBP轉換的具體步驟包括：

1)將數據集中具有R、G、B三種通道的彩色圖片，轉化YUV圖像，由RGB空間轉換為YUV空間的公式為：

Y＝0.299R+0.587G+0.114B

U＝-0.1687R-0.3313G+0.5B+128

V＝0.5R-0.4187G-0.0813B+128

2)LBP算子為3*3的窗口，共9個窗口，窗口中的數字為相鄰像素的灰度值，以最中心的窗口為基準，按順序從第一行第一列的窗口與中心窗口閾值做比較，當比較結果相鄰像素的灰度值大于等于閾值，標記為1，小于標記為0；LBP算子反應了圖像的紋理特征，提取輸入圖像LBP紋理特公式為：

其中，x_a，y_a是中心點像素，i_a是中心點灰度值，i_b是相鄰像素點灰度值，q是中心相鄰像素點個數，u是函數符號；

3)介于YUV中Y代表明亮度，U和V都代表色度，將V替換為LBP特征；圖像經過轉變后具有三種明顯特征：明亮度、色度、LBP紋理特征。

4.根據權利要求3所述的基于YU_LBP的卷積神經網絡的表情識別方法，其特征在于，所述步驟二中在輸入前對所述數據集歸一化處理，統一將圖片剪裁為224×224×3大小的格式。