[發明專利]音視頻數據處理方法、設備及存儲介質

有效

• 申請號: 201910707584.9
• 申請日: 2019-08-01
• 公開（公告）號: CN112329431B
• 公開（公告）日: 2023-07-04
• 發明（設計）人: 楊一帆;王濤;沈浩;錢雯珺
• 申請（專利權）人: 中國移動通信集團上海有限公司;中移（杭州）信息技術有限公司;中國移動通信集團有限公司
• 主分類號: G06F40/205
• 分類號: G06F40/205;G06F40/284;G06V40/16;G06F18/22;G10L15/26
• 代理公司: 北京東方億思知識產權代理有限責任公司 11258
• 代理人: 彭瓊

本發明公開了一種音視頻數據處理方法、設備及存儲介質，該音視頻數據處理方法包括：獲取音視頻數據中的第一用戶的面部圖像和第一用戶的語音數據，以及獲取語音數據對應的文本數據；基于文本數據對第一用戶的情緒進行打分，得到第一情緒分數；基于面部圖像對第一用戶的情緒進行打分，得到第二情緒分數；基于語音數據對第一用戶的情緒進行打分，得到第三情緒分數；對第一情緒分數、第二情緒分數以及第三情緒分數進行加權求和，得到總情緒分數；根據總情緒分數確定智能設備的目標使用場景，以使智能設備向第一用戶推送情緒引導信息。根據本發明實施例，分析用戶的情緒，使得智能音箱可以向用戶推送情緒引導信息，豐富了智能音箱的功能。

技術領域

本發明屬于互聯網領域，尤其涉及一種音視頻數據處理方法、設備及存儲介質。

背景技術

目前，在用戶喚醒智能音箱后，用戶向智能音箱提出問題，智能音箱采集包括該問題的語音，并將語音發送給云端。由云端分析語音中用戶提出的問題，生成該問題的答案，使得智能音箱回答用戶提出的問題。

但是，目前的智能音箱僅能針對用戶提出的問題進行回答，功能較為單一。

發明內容

本發明實施例提供一種音視頻數據處理方法、設備及存儲介質，能夠實現智能音箱主動地向用戶推送情緒引導信息，豐富了智能音箱的功能。

一方面，本發明實施例提供一種音視頻數據處理方法，包括：

接收來自智能設備的第一用戶的音視頻數據；

獲取所述音視頻數據中的所述第一用戶的面部圖像和所述第一用戶的語音數據，以及獲取所述語音數據對應的文本數據；

基于所述文本數據對所述第一用戶的情緒進行打分，得到第一情緒分數；

基于所述面部圖像對所述第一用戶的情緒進行打分，得到第二情緒分數；

基于所述語音數據對所述第一用戶的情緒進行打分，得到第三情緒分數；

基于所述第一情緒分數的權重、所述第二情緒分數的權重以及所述第三情緒分數的權重，對所述第一情緒分數、所述第二情緒分數以及所述第三情緒分數進行加權求和，得到所述第一用戶的總情緒分數，其中，所述第一情緒分數的權重和所述第三情緒分數的權重均大于所述第二情緒分數的權重；

根據所述總情緒分數確定所述智能設備的目標使用場景，以使所述智能設備進入所述目標使用場景用以向所述第一用戶推送情緒引導信息。

另一方面，本發明實施例提供了一種計算機設備，所述設備包括：處理器以及存儲有計算機程序指令的存儲器；

所述處理器執行所述計算機程序指令時實現所述的音視頻數據處理方法。

再一方面，本發明實施例提供了一種計算機存儲介質，所述計算機存儲介質上存儲有計算機程序指令，所述計算機程序指令被處理器執行時實現所述的音視頻數據處理方法。

本發明實施例的音視頻數據處理方法、設備及存儲介質，能夠從用戶的面部圖像、語音數據以及該語音數據對應的文本數據這三個方面綜合分析用戶情緒，根據用戶情緒確定智能設備的場景，從而使得智能設備進入該場景以向用戶推送用于引導用戶情緒的信息。此處的引導是主動性的，使得智能設備更加智能化，豐富了智能設備的功能。

附圖說明

為了更清楚地說明本發明實施例的技術方案，下面將對本發明實施例中所需要使用的附圖作簡單的介紹，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。

圖1示出了本發明一個實施例提供的音視頻數據處理方法的流程示意圖；

圖2示出了本發明另一個實施例提供的音視頻數據處理方法的流程示意圖；