[發明專利]虛擬醫療會診中虛擬形象的驅動方法及裝置

在審

• 申請號: 202210837260.9
• 申請日: 2022-07-15
• 公開（公告）號: CN115359155A
• 公開（公告）日: 2022-11-18
• 發明（設計）人: 牛景昊;朱運琪;張文生
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06T13/20
• 分類號: G06T13/20;G06T13/40;G16H80/00
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 陳威

1.一種虛擬醫療會診中虛擬形象的驅動方法，其特征在于，所述方法包括：

構建虛擬醫療會診場景，并在所述虛擬醫療會診場景中建立參與會診的多個用戶的虛擬形象；

針對每個用戶，獲取所述用戶的目標數據，所述目標數據包括人臉圖像和音頻數據；

在所述人臉圖像的圖像質量評分小于預設評分的情況下，確定所述音頻數據對應的音素數據；

基于所述音素數據確定所述用戶的目標口型信息；

基于所述目標口型信息，對所述用戶對應的虛擬形象的口型進行驅動。

2.根據權利要求1所述的虛擬醫療會診中虛擬形象的驅動方法，其特征在于，確定所述音頻數據對應的音素數據，包括：

對所述音頻數據進行文本識別，確定所述音頻數據對應的文本；

基于所述文本，確定所述文本對應的拼音數據；

將所述拼音數據進行分解，得到所述拼音數據對應的音節元組序列；

基于所述音節元組序列，確定所述音頻數據對應的音素數據。

3.根據權利要求2所述的虛擬醫療會診中虛擬形象的驅動方法，其特征在于，所述基于所述音素數據確定所述用戶的目標口型信息，包括：

基于所述音素數據，以及音素和口型信息之間的對應關系，確定所述音節元組序列對應的所述目標口型信息。

4.根據權利要求1-3任一項所述的虛擬醫療會診中虛擬形象的驅動方法，其特征在于，所述在所述人臉圖像的圖像質量評分小于預設評分的情況下，確定所述音頻數據對應的音素數據之前，所述方法還包括：

對所述人臉圖像進行特征點標定，確定所述人臉圖像對應的至少一個特征點的位置；

基于各所述特征點的位置，將處于預設位置處的特征點確定為關鍵點；

基于所述關鍵點的位置，分別計算所述關鍵點對應的所述圖像質量評分。

5.根據權利要求1-3任一項所述的虛擬醫療會診中虛擬形象的驅動方法，其特征在于，所述方法還包括：

在所述人臉圖像的圖像質量評分不小于預設評分的情況下，確定所述用戶的所述人臉圖像對應的特征點數據；

基于所述特征點數據確定所述用戶的表情信息；

基于所述表情信息，對所述用戶對應的虛擬形象的表情進行驅動。

6.根據權利要求1-3任一項所述的虛擬醫療會診中虛擬形象的驅動方法，其特征在于，所述方法還包括：

在未獲取到所述人臉圖像和所述音頻數據的情況下，調用動作模板，并基于所述動作模板，對所述用戶對應的虛擬形象的動作進行驅動。

7.根據權利要求1-3任一項所述的虛擬醫療會診中虛擬形象的驅動方法，其特征在于，所述方法還包括：

獲取所述多個用戶中的目標用戶上傳的文件信息；

將所述文件信息顯示在所述虛擬醫療會診場景中。

8.一種虛擬醫療會診中虛擬形象的驅動裝置，其特征在于，所述裝置包括：

構建模塊，用于構建虛擬醫療會診場景，并在所述虛擬醫療會診場景中建立參與會診的多個用戶的虛擬形象；

第一獲取模塊，用于針對每個用戶，獲取所述用戶的目標數據，所述目標數據包括人臉圖像和音頻數據；

第一確定模塊，用于在所述人臉圖像的圖像質量評分小于預設評分的情況下，確定所述音頻數據對應的音素數據；

第二確定模塊，用于基于所述音素數據確定所述用戶的目標口型信息；

第一驅動模塊，用于基于所述目標口型信息，對所述用戶對應的虛擬形象的口型進行驅動。

9.一種電子設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求1至7任一項所述虛擬醫療會診中虛擬形象的驅動方法。

10.一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至7任一項所述虛擬醫療會診中虛擬形象的驅動方法。

11.一種計算機程序產品，包括計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至7任一項所述虛擬醫療會診中虛擬形象的驅動方法。