[發明專利]一種圖像處理的方法、裝置、可讀存儲介質和電子設備

在審

• 申請號: 202110287743.1
• 申請日: 2021-03-17
• 公開（公告）號: CN113076820A
• 公開（公告）日: 2021-07-06
• 發明（設計）人: 陳昌儒;楊惠;徐培來
• 申請（專利權）人: 北京大米科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;H04N21/426;H04N21/44;G10L15/14;G10L15/16;G10L25/63
• 代理公司: 北京睿派知識產權代理事務所(普通合伙) 11597
• 代理人: 劉鋒;楊春曉

本發明實施例公開了一種圖像處理的方法、裝置、可讀存儲介質和電子設備。本發明實施例通過獲取第一視頻流，確定第一視頻流包括的第一圖像中人物的第一情感類別；當所述第一情感類別與所述第一圖像對應的第二情感類別不同時，根據所述第二情感類別修改所述第一圖像中人物的表情，生成第二圖像；根據所述第二圖像生成第二視頻流。通過上述方法，當第一圖像中人物的表情影響交流效果時，通過與第一情感類別不同的第二情感類別修改第一圖像中人物的表情，得到需要的人物表情，即有效的對人物的表情進行控制，提高交流的效果。

技術領域

本發明涉及圖像處理領域，具體涉及一種圖像處理的方法、裝置、可讀存儲介質和電子設備。

背景技術

隨著互聯網應用的發展，在線教學和網絡直播改變了傳統的教學方式以及人們的生活方式，在人們的日常生活使用越來越廣泛，以在線教學為例，在線教學平臺會有大量的學生用戶，教師在教學過程中如果受到個人情緒的影響，說話時沒有經常微笑，或者有厭煩的表情出現，會影響教師的親和力，進而影響學生的學生效率和學習興趣，造成用戶的流失。

因此，如何通過技術手段對人物的表情進行控制，提高交流的效果，是目前需要解決的問題。

發明內容

有鑒于此，本發明實施例提供了一種圖像處理的方法、裝置、可讀存儲介質和電子設備，有效的對人物的表情進行控制，提高了交流的效果。

第一方面，本發明實施例提供了一種圖像處理的方法，該方法包括：

獲取第一視頻流，其中，所述第一視頻流包括至少一幀第一圖像，所述第一圖像包括人物；

確定所述第一圖像中人物的第一情感類別；

響應于所述第一情感類別與所述第一圖像對應的第二情感類別不同，根據所述第二情感類別修改所述第一圖像中人物的表情，生成第二圖像；

根據所述第二圖像生成第二視頻流。

進一步地，所述第一圖像對應的第二情感類別根據情感預測模型預先確定的。

進一步地，所述第一圖像對應的第二情感類別為預先設置的。

進一步地，所述根據情感預測模型預先確定的所述第一圖像對應的第二情感類別，具體包括：

將所述第一視頻流中第一視頻包輸入到自動語音識別模型，輸出所述第一視頻包對應的文本信息，其中，所述第一視頻包為任一所述第一圖像之前設定時長的視頻包；

將所述文本信息輸入到語義分析模型，輸出所述文本信息對應候選情感類別；

將所述候選情感類別與所述第一視頻包之前N個視頻包對應的歷史情感類別輸入到情感預測模型，輸出所述第一圖像對應的第二情感類別，其中，N為大于或等于1的正整數。

進一步地，所述情感類別包括愉快、悲傷、平淡、厭煩、驚訝以及生氣中的至少一項。

進一步地，所述確定所述第一圖像中人物的第一情感類別，具體包括：

通過迭代最近點ICP算法，根據所述第一圖像識別確定所述第一情感類別。

進一步地，所述根據所述第二情感類別修改所述第一圖像中人物的表情，具體包括：

通過Voxel Hashing算法，將所述第一圖像中人物的表情從所述第一情感類別修改為所述第二情感類別。

進一步地，所述自動語音識別模型包括神經網絡模型或者端到端模型。

進一步地，所述語義分析模型包括XGBoost模型、聚類模型或者端到端模型。

進一步地，所述情感預測模型為隱馬爾可夫HMM模型。