[發明專利]網絡訓練及視頻幀處理的方法、裝置、設備及存儲介質

在審

• 申請號: 202111055985.4
• 申請日: 2021-09-09
• 公開（公告）號: CN114120389A
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 衛華威;韓欣彤
• 申請（專利權）人: 廣州虎牙科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/28;G06V10/44;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08;H04N21/234;H04N21/44
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 王瑞云

1.一種表情識別網絡訓練的方法，其特征在于，所述方法包括：

對訓練樣本集中的各臉部圖像進行臉部分割，獲得多個樣本局部圖像；

按照不同的臉部部位，對所述多個樣本局部圖像進行分組，得到多個臉部部位樣本集合；

對各臉部部位樣本集合中的各樣本局部圖像進行特征提取；

根據各臉部部位樣本集合提取出的特征集合，采用預設神經網絡算法和指定損失函數進行聯合學習，得到各臉部部位對應的局部表情識別網絡，其中，各局部表情識別網絡用于輸出與其對應的臉部部位對應的設定維度的表情系數。

2.根據權利要求1所述的方法，其特征在于，所述指定損失函數包括頂點損失函數、回歸損失函數以及頂點距損失函數；

所述根據各臉部部位樣本集合提取出的特征集合，采用預設神經網絡算法和指定損失函數進行聯合學習，得到各臉部部位對應的局部表情識別網絡，包括：

在進行聯合學習時，基于所述頂點距損失函數對應的頂點距損失值、所述頂點損失函數對應的頂點損失值以及所述回歸損失函數對應的回歸損失值的總損失值，對各所述局部表情識別網絡進行收斂。

3.根據權利要求2所述的方法，其特征在于，當所述指定損失函數為頂點距損失函數時，所述頂點距損失函數對應的頂點距損失值采用如下方式獲得：

獲取各局部表情識別網絡輸出的表情系數以及表情標簽；

根據各局部表情識別網絡輸出的表情系數生成第一臉部網格數據，以及，根據各局部表情識別網絡輸出的表情標簽生成第二臉部網格數據；

獲取針對各臉部部位預先標定的標定點對信息；

基于所述標定點對信息，確定所述第一臉部網格數據對應的第一歐式距離，以及，確定所述第二臉部網格數據對應的第二歐式距離；

計算所述第一歐式距離與所述第二歐式距離的差值絕對值，得到優化后的頂點距損失值。

4.根據權利要求3所述的方法，其特征在于，各所述標定點對信息包括第一標定點序號以及第二標定點序號；所述確定所述第一臉部網格數據對應的第一歐式距離，包括：

在所述第一臉部網格數據的各臉部部位中分別查找所述第一標定點序號以及所述第二標定點序號，以確定所述第一標定點序號在所述第一臉部網格數據的對應臉部部位的第一坐標，以及，確定所述第二標定點序號在所述第一臉部網格數據的對應臉部部位的第二坐標；

計算所述第一坐標與所述第二坐標的歐氏距離，得到對應臉部部位的表情系數歐式距離；

計算各臉部部位的表情系數歐式距離的總和得到所述第一臉部網格數據對應的第一歐式距離。

5.根據權利要求4所述的方法，其特征在于，所述確定所述第二臉部網格數據對應的第二歐式距離，包括：

從所述第二臉部網格數據的各臉部部位中分別查找所述第一標定點序號以及所述第二標定點序號，以確定所述第一標定點序號在所述第二臉部網格數據的對應臉部部位的第三坐標，以及，確定所述第二標定點序號在所述第二臉部網格數據的對應臉部部位的第四坐標；

計算所述第三坐標與所述第四坐標的歐氏距離，得到對應臉部部位的標簽歐式距離；

計算各臉部部位的標簽歐式距離的總和得到所述第二臉部網格數據對應的第二歐式距離。

6.根據權利要求1-4任一項所述的方法，其特征在于，所述對訓練樣本集中的各臉部圖像進行臉部分割，獲得多個樣本局部圖像，包括：

針對各臉部圖像，對所述臉部圖像進行關鍵點檢測，以獲得多種臉部部位的關鍵點；

按照所述多種臉部部位的關鍵點以及預設的分割規則，對所述臉部圖像進行臉部分割，得到多個樣本局部圖像；

按照所述分割規則，將所述多個樣本局部圖像的尺寸分別調整為對應的設定尺寸。