[發明專利]人臉表情識別方法、裝置、電子設備及存儲介質

有效

• 申請號: 201710531767.0
• 申請日: 2017-06-30
• 公開（公告）號: CN107330407B
• 公開（公告）日: 2020-08-04
• 發明（設計）人: 高嘉宏
• 申請（專利權）人: 北京金山安全軟件有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

本發明實施例提供一種人臉表情識別方法、裝置、電子設備及存儲介質，用于解決視頻中的人臉表情難以識別造成應用的實用差的問題，其中，對輸入視頻劃分的M個視頻片段進行目標識別，得到N個包含目標人臉圖像的視頻片段；從N個視頻片段中提取目標人臉圖像的表情信息，得到N個表情信息；將N個表情信息進行分類，得到P類表情信息；從P類表情信息中選取占用輸入視頻的播放時長最長的一類表情信息，將其作為輸入視頻的目標人臉表情。實施本發明實施例，可識別輸入視頻中的目標人臉表情，從而提高人臉表情識別的應用范圍和正確率。

技術領域

本發明涉及圖像處理技術領域，具體涉及一種人臉表情識別方法、裝置、電子設備及存儲介質。

背景技術

人臉表情識別是指從給定的人臉圖像中識別確定人臉的表情狀態。例如，高興、悲傷、驚訝、恐懼、厭惡、生氣等。目前人臉表情識別已廣泛應用于心理科學、神經系統科學、工程科學及計算機科學等領域。

在相關技術中，人臉表情識別包括如下兩個主要步驟：第一，從待識別圖像中檢測人臉區域，并從人臉區域中提取臉部表情特征，第二，基于臉部表情特征進行表情分類，得到表情識別結果。然而，由于輸入視頻中包括輸入人物的各種信息，如：性別、年齡、表情等，目前只能根據靜態圖片識別表情，而無法識別視頻中的人臉表情，造成應用的實用差的問題。

發明內容

本發明實施例提供一種人臉表情識別方法、裝置、電子設備及存儲介質，用于解決視頻中的人臉表情難以識別造成應用的實用差的問題。

本發明實施例第一方面提供一種人臉表情識別方法，包括：

對輸入視頻劃分的M個視頻片段進行目標識別，得到N個包含目標人臉圖像的視頻片段，所述M為大于1的整數，所述N為小于或等于所述M的正整數；

從所述N個視頻片段中提取所述目標人臉圖像的表情信息，得到N個表情信息，每一視頻片段對應一個表情信息；

將所述N個表情信息進行分類，得到P類表情信息，所述P為小于或等于所述N的正整數；

從所述P類表情信息中選取占用所述輸入視頻的播放時長最長的一類表情信息，將其作為所述輸入視頻的目標人臉表情。

結合本發明實施例第一方面，在本發明實施例第一方面的第一種可能的實現方式中，在所述對輸入視頻劃分的M個視頻片段進行目標識別之前，所述方法還包括：

根據預設時長或所述輸入視頻的播放時長將所述輸入視頻劃分為所述M個視頻片段。

結合本發明實施例第一方面或第一方面的第一種可能的實現方式，在本發明實施例第一方面的第二種可能的實現方式中，所述從所述N個視頻片段中提取所述目標人臉圖像的表情信息，得到N個表情信息，包括：

對目標視頻片段中的所述目標人臉圖像，或對所述目標視頻片段中包含所述目標人臉圖像的L幀圖像中的每一幀圖像的目標人臉圖像進行表情信息提取，得到K個表情信息和所述K個表情信息中每一表情信息對應的表情概率值，所述K為正整數，所述L為正整數，所述目標視頻片段為所述N個視頻片段中的任一視頻片段；

將所述K個表情信息中的最大表情概率值對應的表情信息作為所述目標視頻片段的表情信息。

結合本發明實施例第一方面或第一方面的第一種可能的實現方式，在本發明實施例第一方面的第三種可能的實現方式中，所述將所述N個表情信息進行分類，得到P類表情信息，包括：

根據所述N個表情信息中的每一表情信息之間的差異值小于預設閾值的表情信息劃分為一類表情信息，得到所述P類表情信息。

結合本發明實施例第一方面或第一方面的第一種可能的實現方式，在本發明實施例第一方面的第四種可能的實現方式中，所述對輸入視頻劃分的M個視頻片段進行目標識別，得到N個包含目標人臉圖像的視頻片段，包括：