[發明專利]一種多角度人臉表情識別的方法及裝置、設備及存儲介質

有效

• 申請號: 202110949029.4
• 申請日: 2021-08-18
• 公開（公告）號: CN113688714B
• 公開（公告）日: 2023-09-01
• 發明（設計）人: 謝燊;黎銘;唐小煜
• 申請（專利權）人: 華南師范大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/82;G06N3/0464;G06N3/045;G06N3/048;G06N3/084
• 代理公司: 廣州駿思知識產權代理有限公司 44425
• 代理人: 葉瓊園

1.一種多角度人臉表情識別的方法，其特征在于，包括步驟：

構建神經網絡模型以及人臉表情圖像訓練庫，其中，所述神經網絡模型包括可變換卷積模塊以及注意力模塊；所述人臉表情圖像訓練庫包括多角度人臉表情圖像訓練數據；

根據所述可變換卷積模塊以及所述多角度人臉表情圖像訓練數據，獲得所述多角度人臉表情圖像訓練數據的每個像素的偏移量；

根據所述每個像素的偏移量以及預設的特征提取算法，獲取多角度人臉表情圖像訓練數據的特征，從而獲取多角度人臉表情圖像訓練數據的輸出特征圖，其中，所述特征提取算法為：

其中，y₁(p_c)為對應p_c像素點下的可變形卷積輸出，w(p_n)為對應像素點的卷積模板值，Δp_n為偏移坐標量；

根據所述注意力模塊以及所述多角度人臉表情圖像訓練數據的輸出特征圖，獲得所述多角度人臉表情圖像訓練數據的輸出值；

根據所述輸出值以及預設的學習率衰減策略，對所述神經網絡模型進行若干次訓練，獲得若干個訓練后的神經網絡模型；

根據預設的準確率計算算法，從所述若干個訓練后的神經網絡模型中獲得準確率最高的神經網絡模型，作為最佳神經網絡模型；

獲得用戶的識別指令，所述識別指令包括預識別的人臉表情圖像，根據所述預識別的人臉表情圖像以及所述最佳神經網絡模型，獲得人臉表情識別結果。

2.根據權利要求1所述的多角度人臉表情識別的方法，其特征在于，所述構建神經網絡模型以及人臉表情圖像訓練庫，其中，所述神經網絡模型包括可變換卷積模塊以及注意力模塊；所述人臉表情圖像訓練庫包括多角度人臉表情圖像訓練數據，包括步驟：

對所述多角度人臉表情圖像訓練數據進行預處理；其中，所述預處理步驟包括格式標準化步驟、角度旋轉步驟、水平翻轉步驟以及亮度改變步驟的一種或多種。

3.根據權利要求1任一項所述的多角度人臉表情識別的方法，其特征在于，所述注意力模塊包括平均化層、卷積層以及訓練層。

4.根據權利要求3所述的多角度人臉表情識別的方法，其特征在于，所述根據所述注意力模塊以及所述多角度人臉表情圖像訓練數據的輸出特征圖，獲得所述多角度人臉表情圖像訓練數據的輸出值，包括步驟：

根據所述注意力模塊的平均化層、所述多角度人臉表情圖像訓練數據的輸出特征圖以及預設的權重計算算法，獲得所述多角度人臉表情圖像訓練數據的輸出特征圖的水平方向上的第一權重值以及垂直方向上的第一權重值，其中，所述權重計算算法為：

其中，h為所述輸出特征圖的高度，w為所述輸出特征圖的寬度，x_c(h,i)為第通道上高度為，寬度為的對應圖像像素值，z_c(h)為高度為h的第通道的所述水平方向上的第一權重值的輸出，z_c(w)為寬度為的第c通道的所述垂直方向上的第一權重值的輸出，x_c(h,i)為第通道上高度為，寬度為的對應圖像像素值，x_c(j,w)為第通道上高度為，寬度為的對應圖像像素值；

根據所述注意力模塊的卷積層以及訓練層，分別對所述水平方向上的第一權重值以及垂直方向上的第一權重值進行處理，獲得所述水平方向上的第二權重值以及垂直方向上的第二權重值；

根據所述水平方向上的第二權重值、垂直方向上的第二權重值以及權重輸出算法，獲得所述多角度人臉表情圖像訓練數據的輸出值，其中，所述權重輸出算法為：

其中，y_c(i,j)表示第c通道輸出特征圖的第i行第j列的輸出，x_c(i,j)為第c通道輸出特征圖上高度為i，寬度為j的像素值，為第c通道輸出特征圖垂直方向上高度為i的位置的水平方向上的第二權重值的輸出值，為第c通道輸出特征圖水平方向上寬度為j的位置的垂直方向上的第二權重值的輸出值。