[發明專利]面部情緒識別模型的訓練方法、情緒識別方法及相關設備

在審

• 申請號: 202111461044.0
• 申請日: 2021-11-30
• 公開（公告）號: CN114202791A
• 公開（公告）日: 2022-03-18
• 發明（設計）人: 陳柯宇;張唯;丁彧;呂唐杰;范長杰;胡志鵬
• 申請（專利權）人: 網易（杭州）網絡有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06N3/04;G06K9/62;G06V10/774
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 李弘

本公開提供一種面部情緒識別模型的訓練方法、情緒識別方法及相關設備。能夠收集自然語言中與情緒相關一些情緒詞匯，然后搜集每個情緒詞匯對應的人臉圖像，并利用情緒詞匯對人臉圖像進行標注形成訓練樣本集，對預先構建的初始網絡模型進行訓練，得到面部情緒識別模型，再利用面部情緒識別模型對面部情緒識別處理。這樣，由于面部情緒識別模型與自然語言表達空間一致，因此利用面部情緒識別模型進行面部情緒識別的結果更加符合人類自然感知的真實情緒，情緒識別更加精確。

技術領域

本公開涉及數據處理技術領域，尤其涉及一種面部情緒識別模型的訓練方法、情緒識別方法及相關設備。

背景技術

人的面部神態能夠大量反應出人的內心運動，因此觀察人臉的視覺變化一直以來都是鑒別人的情緒狀態的最佳方式。在計算機視覺，人機交互以及計算心理學領域，構建人工標注的人臉情緒數據集并采用深度網絡模型進行圖像分類學習，是一項具有研究價值和落地意義的工作。

傳統的人臉情緒識別方法/數據集都建立在基礎的情緒表示模型上，即包括七種基本情緒：中性，開心，傷心，驚訝，害怕，生氣，厭惡等。然而人的面部情緒是復雜的，光靠這基礎的七種情緒無法對人的面部情緒表達完整，這樣就會導致人臉情緒識別不準確的問題。

發明內容

有鑒于此，本公開的目的在于提出一種面部情緒識別模型的訓練方法、情緒識別方法及相關設備，用以解決或部分解決上述技術問題。

基于上述目的，本公開的第一方面提供了一種面部情緒識別模型的訓練方法，包括：

獲取與情緒相關的多個情緒詞匯，將所述多個情緒詞匯整合形成情緒詞匯集合；

搜集與所述情緒詞匯集合中的每個所述情緒詞匯對應的人臉圖像，利用所述情緒詞匯對所述對應的人臉圖像進行標注，將標注后的人臉圖像作為訓練樣本集，其中，一個所述情緒詞匯對應搜集到多個所述人臉圖像；

將所述訓練樣本集中的人臉圖像依次輸入至預先構建的初始網絡模型中進行訓練處理，并依據所述初始網絡模型每輪訓練的輸出結果和所述訓練樣本集中對應標注的情緒詞匯對所述初始網絡模型進行參數調整；當所述初始網絡模型達到預設的收斂條件時，將所述初始網絡模型作為用于面部情緒識別的面部情緒識別模型。

在一些示例性實施例中，所述獲取與情緒相關的多個情緒詞匯，將所述多個情緒詞匯整合形成情緒詞匯集合，包括：

從語言詞匯庫中篩選與情緒相關的多個待選詞匯；

對多個所述待選詞匯采用眾包方式進行選定，去除不能進行對應情緒表達的待選詞匯，將剩余的待選詞匯作為情緒詞匯；

對所述情緒詞匯進行整合形成情緒詞匯集合。

在一些示例性實施例中，所述對多個所述待選詞匯采用眾包方式進行選定，去除不能進行對應情緒表達的待選詞匯，將剩余的待選詞匯作為情緒詞匯，包括：

根據每個所述待選詞匯生成對應的調查數據，將所述調查數據通過網絡進行發布，以供調查者通過終端設備接收所述網絡傳送的所述調查數據，并對所述調查數據進行是否能表達對應情緒的投票，生成對應的投票信息；

接收各個調查者通過終端設備反饋的投票信息，去除所述投票信息中不能表達對應情緒的待選詞匯，將剩余的待選詞匯作為情緒詞匯。

在一些示例性實施例中，所述搜集與所述情緒詞匯集合中的每個所述情緒詞匯對應的人臉圖像，利用所述情緒詞匯對所述對應的人臉圖像進行標注，將標注后的人臉圖像作為訓練樣本集，包括：

將所述情緒詞匯集合中的每個所述情緒詞匯作為搜索標簽進行搜索，獲取與所述搜索標簽對應的多個人臉圖像，利用所述搜索標簽對應的情緒詞匯對所述多個人臉圖像進行標注，將標注后的人臉圖像存儲至數據庫中；