[發明專利]基于多模態數據的虛擬人物驅動方法、系統及設備

在審

• 申請號: 202210567637.3
• 申請日: 2022-05-23
• 公開（公告）號: CN114840090A
• 公開（公告）日: 2022-08-02
• 發明（設計）人: 朱鵬程;馬遠凱;冷海濤;張昆才;羅智凌;周偉;李禹;錢景
• 申請（專利權）人: 阿里巴巴（中國）有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06T13/40
• 代理公司: 北京同鈞律師事務所 16037
• 代理人: 柴海平;許懷遠

本申請提供一種基于多模態數據的虛擬人物驅動方法、系統及設備，涉及計算機技術中的人工智能、深度學習、機器學習、虛擬現實等領域。本申請的方法，在虛擬人物與用戶的一輪對話過程中，實時獲取用戶輸入的語音數據和用戶的圖像數據；當檢測到用戶輸入的語音數據的靜默時長大于或等于預設時長且語音輸入未結束時，將上一時段內的語音數據轉換為對應的文本信息，根據上一時段內用戶的圖像數據識別用戶的手勢信息，根據用戶的手勢信息和文本信息確定對應的手勢意圖分類，以實時地識別用戶的手勢意圖，基于用戶的手勢意圖驅動虛擬人物及時地執行對應的響應行為，提高了虛擬人物擬人化程度，使得虛擬人物與人的交互更順暢、更智能。

技術領域

本申請涉及計算機技術中的人工智能、深度學習、機器學習、虛擬現實等領域，尤其涉及一種基于多模態數據的虛擬人物驅動方法、系統及設備。

背景技術

隨著虛擬現實技術的發展，基于虛擬人物的人機交互在人們生活中的應用越來越普及，如可以廣泛應用于智能客服、虛擬導師、智能家庭醫生、虛擬主播等場景中。在真人面對面進行對話時，是可以基于對方的手勢動作等信息進行及時地反饋的。現有的虛擬人物與人的交互中，用戶(真人)大多通過終端觸控屏顯示的系統頁面，通過文字輸入或觸發頁面控件等方式進行留言、點贊、翻頁等與虛擬人物的交互，缺乏虛擬人物與真人進行“面對面”交互的技術手段，導致虛擬人物的擬人化程度低，虛擬人物與人的交互過程不順暢、不智能。

發明內容

本申請提供一種基于多模態數據的虛擬人物驅動方法、系統及設備，用以解決虛擬人物擬人化程度低，虛擬人物與人的交互過程不順暢、不智能的問題。

第一方面，本申請提供一種基于多模態數據的虛擬人物驅動方法，包括：

獲取虛擬人物的三維形象渲染模型以利用虛擬人物提供對用戶的交互服務；

在虛擬人物與用戶的一輪對話過程中，實時獲取用戶輸入的語音數據和所述用戶的圖像數據；

當檢測到所述用戶輸入的語音數據的靜默時長大于或等于預設時長時，若確定所述語音輸入未結束，則將上一時段內所述用戶輸入的語音數據轉換為對應的文本信息，所述上一時段為自上一次靜默時長大于或等于預設時長的時刻至當前時刻；

根據所述上一時段內所述用戶的圖像數據識別所述用戶的手勢信息，并根據所述用戶的手勢信息和所述文本信息，確定所述用戶的手勢信息對應的手勢意圖分類；

根據所述用戶的手勢信息對應的手勢意圖分類，以及當前的對話狀態，確定對應的驅動數據；

根據所述驅動數據和虛擬人物的三維形象渲染模型，驅動虛擬人物執行對應的響應行為。

第二方面，本申請提供一種基于多模態數據的虛擬人物驅方法，包括：

獲取虛擬人物的三維形象渲染模型，以利用虛擬人物向用戶提供交互服務；

在虛擬人物與用戶的一輪對話中，在用戶進行語音輸入的過程中，實時獲取用戶輸入的語音數據和所述用戶的圖像數據；

當檢測到所述語音輸入的靜默時長大于或等于預設時長時，若確定所述語音輸入未結束，則根據上一時段內所述用戶的圖像數據識別所述用戶的手勢信息，所述上一時段為自上一次靜默時長大于或等于預設時長的時刻至當前時刻；

根據所述用戶的手勢信息，若確定所述用戶做出了需承接的手勢，則確定虛擬人物的驅動數據；

根據所述驅動數據和虛擬人物的三維形象渲染模型，驅動虛擬人物執行所述用戶的手勢信息對應的承接響應行為。

第三方面，本申請提供一種基于多模態數據的虛擬人物驅動系統，包括：

驅動控制模塊，用于獲取虛擬人物的三維形象渲染模型以利用虛擬人物提供對用戶的交互服務；