[發明專利]一種笑臉檢測的方法、裝置、電子設備及存儲介質

在審

• 申請號: 202210306352.4
• 申請日: 2022-03-25
• 公開（公告）號: CN114724212A
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 張偉亮;李通;劉文韜;錢晨
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06K9/62;G06N3/04;G06N3/08;G06V10/774;G06V10/82
• 代理公司: 北京中知恒瑞知識產權代理事務所(普通合伙) 11889
• 代理人: 袁忠林

1.一種笑臉檢測的方法，其特征在于，所述方法包括：

獲取待檢測人臉圖像；

利用訓練好的目標神經網絡對所述待檢測人臉圖像進行目標特征提取，得到多個通道的笑臉特征信息以及對應每個通道的注意力權重信息；

基于所述多個通道的笑臉特征信息以及對應每個通道的注意力權重信息，得到針對所述待檢測人臉圖像的笑臉檢測結果。

2.根據權利要求1所述的方法，其特征在于，所述基于所述多個通道的笑臉特征信息以及對應每個通道的注意力權重信息，得到針對所述待檢測人臉圖像的笑臉檢測結果，包括：

基于所述多個通道的笑臉特征信息進行特征壓縮，得到通道數小于壓縮前通道數的特征壓縮后的笑臉特征信息；

基于所述特征壓縮后的笑臉特征信息進行特征擴展，得到通道數等于壓縮前通道數的特征擴展后的笑臉特征信息；

基于所述特征擴展后的笑臉特征信息以及對應每個通道的注意力權重信息，確定針對所述待檢測人臉圖像的笑臉檢測結果。

3.根據權利要求1或2所述的方法，其特征在于，所述目標神經網絡包括用于執行笑臉檢測任務的任務層；所述基于所述多個通道的笑臉特征信息以及對應每個通道的注意力權重信息，得到針對所述待檢測人臉圖像的笑臉檢測結果，包括：

基于所述多個通道的笑臉特征信息以及對應每個通道的注意力權重信息之間的加權求和，確定加權求和后的笑臉特征信息；

將所述加權求和后的笑臉特征信息輸入到所述目標神經網絡包括的任務層，得到所述任務層輸出的所述笑臉檢測結果。

4.根據權利要求1至3任一所述的方法，其特征在于，按照如下步驟訓練所述目標神經網絡：

獲取人臉圖像樣本以及針對所述人臉圖像樣本的笑臉標注結果，其中，所述笑臉標注結果用于指示對應人臉圖像樣本中的人臉是否為具有情緒風格的笑臉；

將所述人臉圖像樣本作為待訓練的目標神經網絡的輸入數據，將針對所述人臉圖像樣本的笑臉標注結果作為所述待訓練的目標神經網絡的輸出結果的監督數據，對所述待訓練的目標神經網絡進行至少一輪網絡訓練，得到訓練好的目標神經網絡。

5.根據權利要求4所述的方法，其特征在于，所述目標神經網絡包括特征提取層、注意力層、以及任務層；所述將所述人臉圖像樣本作為待訓練的目標神經網絡的輸入數據，將針對所述人臉圖像樣本的笑臉標注結果作為所述待訓練的目標神經網絡的輸出結果的監督數據，對所述待訓練的目標神經網絡進行至少一輪網絡訓練，包括：

將所述人臉圖像樣本輸入到所述目標神經網絡包括的特征提取層，得到所述特征提取層輸出的多個通道的笑臉樣本特征信息，并將所述特征提取層輸出的多個通道的笑臉樣本特征信息輸入到所述目標神經網絡包括的注意力層，得到所述注意力層輸出的對應每個通道的注意力權重信息；

基于所述多個通道的笑臉樣本特征信息以及對應每個通道的注意力權重信息之間的加權求和，得到加權求和后的笑臉樣本特征信息；

將所述加權求和后的笑臉樣本特征信息輸入到所述目標神經網絡包括的任務層，確定所述任務層的檢測任務輸出結果；

基于所述檢測任務輸出結果以及針對所述人臉圖像樣本的笑臉標注結果對所述待訓練的目標神經網絡進行至少一輪網絡訓練。

6.根據權利要求4或5所述的方法，其特征在于，所述目標神經網絡包括輸出不同特征深度的多個特征提取層、以及任務層；所述將所述人臉圖像樣本作為待訓練的目標神經網絡的輸入數據，將針對所述人臉圖像樣本的笑臉標注結果作為所述待訓練的目標神經網絡的輸出結果的監督數據，對所述待訓練的目標神經網絡進行至少一輪網絡訓練，包括：

將所述人臉圖像樣本輸入到所述目標神經網絡包括的多個特征提取層，得到每個所述特征提取層輸出的笑臉樣本特征信息；

從所述多個特征提取層中選取輸出的特征深度符合預設深度范圍的目標特征提取層；

將所述目標特征提取層輸出的笑臉樣本特征信息輸入到所述目標神經網絡包括的任務層，得到所述任務層的檢測任務輸出結果；

基于所述檢測任務輸出結果以及針對所述人臉圖像樣本的笑臉標注結果對所述待訓練的目標神經網絡進行至少一輪網絡訓練。