[發明專利]虛擬人驅動方法及其裝置、設備、介質、產品

在審

• 申請號: 202310587053.7
• 申請日: 2023-05-23
• 公開（公告）號: CN116600149A
• 公開（公告）日: 2023-08-15
• 發明（設計）人: 楊凱翔;劉科;林緒虹
• 申請（專利權）人: 廣州海外扛把子網絡科技有限公司
• 主分類號: H04N21/2187
• 分類號: H04N21/2187;H04N21/44;H04N21/439;H04N21/4402
• 代理公司: 廣州利能知識產權代理事務所(普通合伙) 44673
• 代理人: 王增鑫

1.一種虛擬人驅動方法，其特征在于，包括：

獲取網絡直播中主播用戶提交的驅動文本；

基于所述驅動文本生成所述主播用戶的直播間中的虛擬人的語音數據，獲得所述驅動文本與所述語音數據之間關于字詞的時序對齊信息；

從動作描述素材庫中匹配出所述驅動文本中各個字詞相對應的素材片段，所述素材片段適于驅動虛擬人實施相應的動作；

按照所述時序對齊信息規定的字詞之間的時序關系，將各個字詞相對應的素材片段拼接為適于驅動所述主播用戶的直播間中的虛擬人實施連串動作的動作描述文件。

2.根據權利要求1所述的虛擬人驅動方法，其特征在于，按照所述時序對齊信息規定的字詞之間的時序關系，將各個字詞相對應的素材片段拼接為適于驅動虛擬人實施組合動作的動作描述文件之后，包括：

應用所述動作描述文件驅動虛擬人運動，生成所述虛擬人的運動圖像流；

生成所述驅動文本相對應的字幕文本；

根據所述時序對齊信息將所述運動圖像流、所述語音數據以及所述字幕文本合成為視頻流；

將所述視頻流推送至所述直播間中播放。

3.根據權利要求2所述的虛擬人驅動方法，其特征在于，生成所述驅動文本相對應的字幕文本，包括：

獲取在基于所述驅動文本生成所述主播用戶的直播間中的虛擬人的語音數據過程中對所述驅動文本預處理獲得的凈化文本；

按照標點符號分別對所述驅動文本和凈化文本進行斷句，統計相應的斷句數量；

判斷所述驅動文本和所述凈化文本各自的斷句數量是否一致，當一致時，將所述驅動文本按句對應所述凈化文本設置為字幕文本，否則，將所述凈化文本設置為字幕文本。

4.根據權利要求1至3中任意一項所述的虛擬人驅動方法，其特征在于，從動作描述素材庫中匹配出所述驅動文本中各個字詞相對應的素材片段，所述素材片段適于驅動虛擬人實施相應的動作，包括：

對所述驅動文本進行順序分詞，獲得由所述驅動文本中的各個字詞構成的分詞序列；

采用預設的動作映射模型/標簽映射庫，確定出所述分詞序列中的各個字詞相對應的動作標簽，獲得標簽序列；

基于所述標簽序列內各個字詞相對應的動作標簽，從動作描述素材庫中確定出相應動作標簽下的一個素材片段。

5.根據權利要求4所述的虛擬人驅動方法，其特征在于，基于所述標簽序列內各個字詞相對應的動作標簽，從動作描述素材庫中確定出相應動作標簽下的一個素材片段，包括：

基于標簽序列中的當前字詞，確定出語音數據中的相應語音片段的風格特征向量，所述風格特征向量用于表征所述相應語音片段的風格不變特征，所述風格包括節奏風格和/或情感風格；

從動作描述素材庫中獲取當前字詞的動作標簽相對應的各個素材片段的風格特征向量；

計算所述相應語音片段的風格特征向量與各個素材片段的風格特征向量之間的相似度，確定風格特征向量具有最大相似度的素材片段為選中的目標素材片段。

6.根據權利要求4所述的虛擬人驅動方法，其特征在于，確定出所述分詞序列中的各個字詞相對應的動作標簽，獲得標簽序列，包括：

以當前字詞作為查詢詞，從標簽映射庫中查詢是否存在相對應的動作標簽，當存在時，確定該相對應的動作標簽為該當前字詞的動作標簽，添加到標簽序列中；

當標簽映射庫中不存在當前字詞相對應的動作標簽，且標簽映射庫中存在以當前字詞為前綴的字詞的動作標簽時，將當前字詞拼接下一字詞構成新的查詢詞，從標簽映射庫中查詢是否存在與該新的查詢詞相對應的動作標簽，當存在相應的動作標簽時，將該新的查詢詞替換相拼接的各個字詞，將該新的查詢詞的動作標簽添加到標簽序列中；

當不存在該新的查詢詞相對應的動作標簽時，將當前字詞的動作標簽設定為指向預設的屬于可變節奏動作的素材片段，添加到標簽序列中。