[發明專利]一種仿真度高的三維虛擬形象口型匹配方法、介質及系統

在審

• 申請號: 202310433938.1
• 申請日: 2023-04-21
• 公開（公告）號: CN116543078A
• 公開（公告）日: 2023-08-04
• 發明（設計）人: 周安斌;晏武志;李鑫;潘見見
• 申請（專利權）人: 山東金東數字創意股份有限公司
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06T13/20;G06T5/00;G06V40/16;G06F18/00
• 代理公司: 武漢聚信匯智知識產權代理有限公司 42258
• 代理人: 郝雅娟

1.一種仿真度高的三維虛擬形象口型匹配方法，其特征在于，包括以下步驟：

S10：獲取影視作品以及生活監控錄像中的人物正面說話錄像以及人物側面說話錄像，其中所述人物正面說話錄像為所述人物的全部嘴部區域均能顯示的連續幀組成的錄像；所述人物側面說話錄像為所述人物的全部嘴部區域部分顯示的連續幀組成的錄像；

S20：對所述人物正面說話錄像以及人物側面說話錄像進行畸變校正得到正面錄像以及側面錄像；

S30：根據所述正面錄像獲取每個發音對應的口型記為正面發音口型集，根據所述側面錄像獲取每個發音對應的口型記為側面發音口型集；

S40：獲取實驗人員對每個音素對應的三維口型，記為音素三維口型集；

S50：根據所述音素三維口型集對正面發音口型集中的每個口型進行三維處理，得到第一發音口型集；

S60：根據側面發音口型集對第一發音口型集中的每個口型進行流暢化處理，得到第二發音口型集；

S70：根據第二發音口型集對三維形象說話過程中的每個發音進行口型匹配，生成三維形象說話口型序列。

2.根據權利要求1所述的一種仿真度高的三維虛擬形象口型匹配方法，其特征在于，根據所述正面錄像獲取每個發音對應的口型記為正面發音口型集的步驟，具體包括：

提取正面發音口型集的音頻，記為正面音頻；

在所述正面音頻中，提取反映所述正面音頻的語音信號幅值變化趨勢的波峰點連接所形成的正面波峰曲線；

對所述正面波峰曲線進行平滑及歸一化處理得到第一正面曲線；

對所述第一正面曲線進行幅值切割，得到多個曲線段的集合，記為第一正面曲線段集；

以所述第一正面曲線段集中的曲線段作為每個發音對應的語音信號，所述語音信號的起止時間為所述發音對應的起止時間；

根據所述發音對應的起止時間，將所述正面錄像分割為多個正面發音口型集。

3.根據權利要求2所述的一種仿真度高的三維虛擬形象口型匹配方法，其特征在于，所述對曲線進行幅值切割得到多個曲線段的集合的步驟，具體包括：

獲取所述曲線的波谷；

以所述波谷所在點為切割點，對所述曲線進行幅值切割，得到多個曲線段的集合。

4.根據權利要求1所述的一種仿真度高的三維虛擬形象口型匹配方法，其特征在于，根據所述側面錄像獲取每個發音對應的口型記為側面發音口型集的步驟，具體包括：

提取側面發音口型集的音頻，記為側面音頻；

在所述側面音頻中，提取反映所述側面音頻的語音信號幅值變化趨勢的波峰點連接所形成的側面波峰曲線；

對所述側面波峰曲線進行平滑及歸一化處理得到第一側面曲線；

對所述第一側面曲線進行幅值切割，得到多個曲線段的集合，記為第一側面曲線段集；

以所述第一側面曲線段集中的曲線段作為每個發音對應的語音信號，所述語音信號的起止時間為所述發音對應的起止時間；

根據所述發音對應的起止時間，將所述側面錄像分割為多個側面發音口型集。

5.根據權利要求4所述的一種仿真度高的三維虛擬形象口型匹配方法，其特征在于，所述獲取實驗人員對每個音素對應的三維口型的步驟，具體包括：

獲取激光掃描儀對實驗人員朗讀文本過程中對應的激光數據；

根據所述激光數據建立點云模型；

所述點云模型中的點至少包括Dlib面部識別算法中嘴部對應的關鍵點；

根據所述點云模型得到每個音素對應的三維口型；

所述實驗人員朗讀的文本為所有音素的集合，所述實驗人員對每個音素進行逐一間隔朗讀。

6.根據權利要求5所述的一種仿真度高的三維虛擬形象口型匹配方法，其特征在于，根據所述點云模型得到每個音素對應的三維口型的具體步驟，包括：

將點云模型中的關鍵點進行篩選，僅保留Dlib面部識別算法中嘴部對應的關鍵點，作為口型點云模型；

獲取所述實驗人員朗讀的每個音素對應的口型點云模型作為三維口型。