[發明專利]音視頻數據處理方法、設備及存儲介質

有效

• 申請號: 201910707584.9
• 申請日: 2019-08-01
• 公開（公告）號: CN112329431B
• 公開（公告）日: 2023-07-04
• 發明（設計）人: 楊一帆;王濤;沈浩;錢雯珺
• 申請（專利權）人: 中國移動通信集團上海有限公司;中移（杭州）信息技術有限公司;中國移動通信集團有限公司
• 主分類號: G06F40/205
• 分類號: G06F40/205;G06F40/284;G06V40/16;G06F18/22;G10L15/26
• 代理公司: 北京東方億思知識產權代理有限責任公司 11258
• 代理人: 彭瓊

1.一種音視頻數據處理方法，其特征在于，包括：

接收來自智能設備的第一用戶的音視頻數據；

獲取所述音視頻數據中的所述第一用戶的面部圖像和所述第一用戶的語音數據，以及獲取所述語音數據對應的文本數據；

基于所述文本數據對所述第一用戶的情緒進行打分，得到第一情緒分數；

基于所述面部圖像對所述第一用戶的情緒進行打分，得到第二情緒分數；

基于所述語音數據對所述第一用戶的情緒進行打分，得到第三情緒分數；

基于所述第一情緒分數的權重、所述第二情緒分數的權重以及所述第三情緒分數的權重，對所述第一情緒分數、所述第二情緒分數以及所述第三情緒分數進行加權求和，得到所述第一用戶的總情緒分數，其中，所述第一情緒分數的權重和所述第三情緒分數的權重均大于所述第二情緒分數的權重；

根據所述總情緒分數確定所述智能設備的目標使用場景，以使所述智能設備進入所述目標使用場景用以向所述第一用戶推送情緒引導信息；

其中，基于所述語音數據對所述第一用戶的情緒進行打分，得到第三情緒分數，包括：根據所述語音數據，確定所述文本數據中的每個句子末尾的標點符號；若所述文本數據中存在末尾是預定標點符號的句子，則根據與所述預定標點符號對應的用戶情緒標簽，確定所述第三情緒分數；

其中，根據所述語音數據，確定所述文本數據中的每個句子末尾的標點符號，包括：將所述每個句子作為待處理句子，并執行如下的步驟：在所述文本數據中獲取所述待處理句子的下一個句子；對于所述待處理句子在所述語音數據中的開始時刻以及所述下一個句子在所述語音數據中的結束時刻，確定所述開始時刻與所述結束時刻之間的時間間隔；在所述語音數據中獲取與所述待處理句子對應的語音片段；提取所述語音片段的聲音特征；根據所述時間間隔和所述聲音特征，確定所述待處理句子末尾的標點符號。

2.根據權利要求1所述的方法，其特征在于，還包括：

若所述總情緒分數在危險情緒分數范圍內，則控制所述智能設備發出危險情緒的告警提示信息和/或向與所述第一用戶關聯的第二用戶發送用于表示所述第一用戶在危險情緒下的告警提示信息。

3.根據權利要求1所述的方法，其特征在于，基于所述文本數據對所述第一用戶的情緒進行打分，得到第一情緒分數，包括：

根據所述文本數據的內容所屬的領域，確定所述文本數據的內容主題；

在所述文本數據中獲取與所述內容主題相關的至少一個形容詞；

在所述文本數據的內容所屬的領域對應的形容詞語料數據中，查詢所述至少一個形容詞中的每個形容詞的情緒分數；

對所述至少一個形容詞的情緒分數進行求和，將所述述至少一個形容詞的情緒分數的求和結果作為所述第一情緒分數。

4.根據權利要求1所述的方法，其特征在于，基于所述文本數據對所述第一用戶的情緒進行打分，得到第一情緒分數，包括：

根據所述文本數據中的每個句子的內容，確定所述每個句子的情感值；

根據所述每個句子在所述文本數據中的位置，確定所述每個句子的權重；

基于所述每個句子的權重，對所述文本數據的所有句子的情感值進行加權求和，將加權求和的結果作為所述第一情緒分數；

其中，根據所述文本數據中的每個句子的內容，確定所述每個句子的情感值，包括：對于所述每個句子執行如下的步驟：

獲取所述句子中的多個形容詞；

根據所述多個形容詞中的每個形容詞的褒貶性，確定所述每個形容詞的情感值；

根據所述每個形容詞在所述句子中的位置，確定所述每個形容詞的權重；

基于所述每個形容詞的權重，對所述多個形容詞的情感值進行加權求和，得到所述句子的情感值。

5.根據權利要求1所述的方法，其特征在于，基于所述語音數據對所述第一用戶的情緒進行打分，得到第三情緒分數，包括：

從所述語音數據中提取所述第一用戶的聲音特征，其中，所述聲音特征包括以下的一項或多項：響度、音調、音色；

對所述聲音特征進行分析，得到用戶情緒標簽；

將與所述用戶情緒標簽對應的分數作為所述第三情緒分數。