[發明專利]一種基于視頻流的面部表情識別方法及系統

有效

• 申請號: 202110406836.1
• 申請日: 2021-04-15
• 公開（公告）號: CN113111789B
• 公開（公告）日: 2022-12-20
• 發明（設計）人: 王德強;李曉;鄭來波;王鳴天;焦廣超
• 申請（專利權）人: 山東大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/44;G06V10/764;G06V10/82;G06V10/80;G06N3/04;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 閆偉姣

1.一種基于視頻流的面部表情識別方法，其特征在于，包括：

確定視頻流中每幀圖像的人臉定位區域；

提取人臉定位區域的人臉關鍵點，計算人臉關鍵點間的距離特征；

根據距離特征與訓練后的表情分類模型，得到每幀圖像的各類表情概率值；

所述表情分類模型基于對深度學習神經網絡模型訓練得到；歸一化后的距離特征X輸入至預先訓練的表情分類模型中，經過前向計算，得到視頻流中當前幀的n類表情概率值，即y_pred＝{y¹_pred,y²_pred....yⁿ_pred},n為表情種類數；

根據每幀圖像的各類表情概率值中最大值與預設閾值的比較結果，對每幀圖像進行篩選，得到所有有效幀并確定對應的表情分類結果，利用滑動時間窗口對有效幀表情分類結果在時間維度上進行融合處理，得到以滑動步長為間隔的表情識別結果；利用滑動時間窗口對有效幀的表情分類結果在時間維度上進行融合處理的過程包括，在時間窗口內，根據所有有效幀表情分類結果計算每類表情的出現頻率，選擇出現頻率最高的表情作為融合處理后的表情識別結果；

具體的包括如下步驟：

步驟1：設置一個寬度為2w的滑動窗口，設置表情概率閾值λ，以圖像幀F_i為中心的窗口可表示為[F_i－w，F_i+w]；

步驟2：對圖像幀F_i，表情分類模型得到的表情概率值表示為y_pred＝{y¹_pred,y²_pred....yⁿ_pred}，得到最大表情概率值y_max＝max(y_pred)，若y_max大于閾值λ，則該幀判定為有效幀；否則，該幀視為無效幀；

步驟3：若圖像幀F_i為有效幀，則選擇概率為y_max的對應表情做為圖像幀F_i的表情分類結果j∈{1,2,...,n}并存入Y中；若F_i為無效幀，則將無效值null存入Y中；

步驟4：在窗口[F_i－w，F_i+w]內，依據Y存儲的內容計算每種有效表情出現的頻率，選擇出現頻率最高的表情作為融合處理后的表情識別結果，即為2w時間內的綜合判決結果；

步驟5：滑動窗口按步長s幀沿時間軸方向移動，得到以圖像幀F_i+s為中心的窗口[F_i－w+s，F_i+w+s]，進行步驟1至4，更新Y并再次得到融合處理后的表情識別結果；具體地，更新Y即舍棄Y中前s幀的歷史數值，新增F_i+w至F_i+w+s幀圖像的表情分類信息。

2.如權利要求1所述的一種基于視頻流的面部表情識別方法，其特征在于，計算人臉關鍵點間的距離特征的過程中，在人臉定位區域內預設表情敏感區域，提取表情敏感區域內人臉關鍵點的坐標，以此計算表情敏感區域內人臉關鍵點的歐氏距離。

3.如權利要求1所述的一種基于視頻流的面部表情識別方法，其特征在于，所述深度學習神經網絡模型為全連接網絡，采用ReLU函數為激活函數，輸出層采用softmax函數，損失函數采用多分類交叉熵函數，更新準則采用梯度下降法。

4.如權利要求1所述的一種基于視頻流的面部表情識別方法，其特征在于，所述深度學習神經網絡模型的訓練策略包括dropout和early stop策略。

5.如權利要求1所述的一種基于視頻流的面部表情識別方法，其特征在于，對幀圖像進行篩選的過程包括，若當前幀圖像的表情概率最大值大于預設閾值，則當前幀判定為有效幀，否則視為無效幀。