[發明專利]基于神經網絡的語音應答方法、存儲介質以終端設備

在審

• 申請號: 201811614089.5
• 申請日: 2018-12-27
• 公開（公告）號: CN111383642A
• 公開（公告）日: 2020-07-07
• 發明（設計）人: 趙智寶
• 申請（專利權）人: TCL集團股份有限公司
• 主分類號: G10L17/02
• 分類號: G10L17/02;G10L17/18;G10L17/22;G10L19/02;G10L21/055;G06K9/00
• 代理公司: 深圳市君勝知識產權代理事務所(普通合伙) 44268
• 代理人: 王永文;劉文求

1.一種基于神經網絡的語音應答方法，其特征在于，其包括：

當接收到用戶輸入的用戶語音時，根據所述用戶語音確定其對應的應答語音；

將所述應答語音輸入預設的表情特征生成模型以獲取所述應答語音對應的表情特征序列；

根據所述表情特征序列確定所述應答語音對應的面部表情序列，并控制預設的虛擬形象播放所述應答語音且同步播放面部表情序列。

2.根據權利要求1所述基于神經網絡的語音應答方法，其特征在于，所述將所述應答語音輸入預設的表情特征生成模型以獲取所述應答語音對應的表情特征序列具體包括：

將所述應答語音轉換到頻域以得到其對應的第一頻譜圖，并將所述第一頻譜圖切分成時間序列；

將所述時間序列輸入預設表情特征生成模型以獲取相應的表情特征序列，其中，所述表情特征序列與應答語音按時間同步對應。

3.根據權利要求1所述基于神經網絡的語音應答方法，其特征在于，所述根據所述表情特征序列確定所述應答語音對應的面部表情序列，并控制預設的虛擬形象播放所述應答語音且同步播放面部表情序列具體包括：

將所述表情特征序列中的各第一表情特征依次重定向至預設的虛擬形象模型上，以得到所述應答語音對應的面部表情序列；

控制預設的虛擬形象播放所述應答語音且同步播放面部表情序列，其中，所述面部表情序列與應答語音按時間軸同步。

4.根據權利要求3所述基于神經網絡的語音應答方法，其特征在于，所述將所述表情特征序列中的各第一表情特征依次重定向至預設的虛擬形象模型上，以得到所述應答語音對應的面部表情序列具體包括：

按照時間序列提取所述表情特征序列包含的各第一表情特征，其中，所述第一表情特征包括若干表情特征點；

對于每個第一表情特征將其包含的所有表情特征點均重定向至預設的虛擬形象的模型上，以得到所述應答語音對應的面部表情序列。

5.根據權利要求4所述基于神經網絡的語音應答方法，其特征在于，所述第一表情特征包含的若干表情特征點均對應相同的時間點。

6.根據權利要求3所述基于神經網絡的語音應答方法，其特征在于，所述控制預設的虛擬形象播放所述應答語音且同步播放面部表情序列具體包括：

將得到的面部表情序列同步至虛擬形象的骨骼動畫上，以得到應答語音對應的骨骼動畫；

通過所述虛擬形象播放所述應答語音，并且按照時間軸同步播放所述骨骼動畫。

7.根據權利要求1所述基于神經網絡的語音應答方法，其特征在于，所述當接收到用戶輸入的用戶語音時，根據所述用戶語音確定其對應的應答語音之前包括：

采集視頻信息，其中，所述視頻信息包括語音信息以及圖像信息；

提取所述語音信息對應的第二頻譜圖以及圖像信息對應的表情特征集合；

建立深度學習網絡，并采用所述第二頻譜圖和表情特征集合對深度學習網絡進行訓練，以得到用于識別頻譜圖對應的第二表情特征的表情特征生成模型。

8.根據權利要求7所述基于神經網絡的語音應答方法，其特征在于，所述提取所述語音信息對應的第二頻譜圖以及圖像信息對應的表情特征集合具體包括：

將所述語音信息轉換到頻域以得到對應的第二頻譜圖；

按照時間軸獲取所述圖像信息包括的各圖像幀的第二表情特征，以得到圖像信息對應的表情特征集合。

9.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有一個或者多個程序，所述一個或者多個程序可被一個或者多個處理器執行，以實現如權利要求1～8任意一項所述的基于神經網絡的語音應答方法中的步驟。

10.一種終端設備，其特征在于，包括：處理器、存儲器及通信總線;所述存儲器上存儲有可被所述處理器執行的計算機可讀程序；

所述通信總線實現處理器和存儲器之間的連接通信；

所述處理器執行所述計算機可讀程序時實現如權利要求1-8任意一項所述的基于神經網絡的語音應答方法中的步驟。