[發明專利]一種仿真度高的三維虛擬形象口型匹配方法、介質及系統

在審

• 申請號: 202310433938.1
• 申請日: 2023-04-21
• 公開（公告）號: CN116543078A
• 公開（公告）日: 2023-08-04
• 發明（設計）人: 周安斌;晏武志;李鑫;潘見見
• 申請（專利權）人: 山東金東數字創意股份有限公司
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06T13/20;G06T5/00;G06V40/16;G06F18/00
• 代理公司: 武漢聚信匯智知識產權代理有限公司 42258
• 代理人: 郝雅娟

本發明提供了一種仿真度高的三維虛擬形象口型匹配方法、介質及系統，屬于三維虛擬技術領域，該方法包括：獲取影視作品以及生活監控錄像中的人物正面說話錄像以及人物側面說話錄像處理得到正面錄像以及側面錄像；獲取每個發音對應的口型記為正面發音口型集，獲取每個發音對應的口型記為側面發音口型集；獲取實驗人員對每個音素對應的三維口型，記為音素三維口型集；根據音素三維口型集對正面發音口型集中的每個口型進行三維處理，得到第一發音口型集；根據側面發音口型集對第一發音口型集中的每個口型進行流暢化處理，得到第二發音口型集；根據第二發音口型集對三維形象說話過程中的每個發音進行口型匹配，生成三維形象說話口型序列。

技術領域

本發明屬于三維虛擬技術領域，具體而言，涉及一種仿真度高的三維虛擬形象口型匹配方法、介質及系統。

背景技術

口型是角色面部動畫的關鍵視點，口型動畫是否逼真、自然直接影響到角色面部整體動畫的真實度，因此，口型動畫的制作在電影、游戲以及虛擬現實等人機交互方式中占據著重要地位。

現有技術中，多數采用音素口型法進行三維虛擬形象的口型匹配，由于人類語言中的每個發音的口型與發音拆解為音素的口型存在一定的區別，導致三維虛擬形象發音不流暢；另外平面口型簡單轉化為三維口型過程中存在不自然的現象。

本申請人申請的一項中國發明專利，公告號為CN115690280B，申請號為CN202211687841.5，公開了一種三維形象發音口型模擬方法，具體步驟包括：在測試人員嘴部粘貼多個小色塊，測試人員朗讀文本，采集測試人員的朗讀錄像；對朗讀錄像按照音頻中的音素進行拆分，得到音素錄像集并處理得到相鄰錄像對應的音素變化過程的小色塊運動軌跡記為音素變化小色塊軌跡集；建立三維虛擬人嘴部模型，并根據單音素小色塊穩定坐標集建立每個音素對應的口型模型；根據需要讀取的文本，建立口型模型序列，并對所述口型模型序列中相鄰的口型，以音素變化小色塊軌跡集構建口型變動過程。

上述專利中，采用測試人員朗讀文本的方法，利用三臺攝像機進行錄像進行采集口型，這一過程采集工作量極大。

發明內容

有鑒于此，本發明提供一種仿真度高的三維虛擬形象口型匹配方法、介質及系統，能夠解決現有技術中，多數采用音素口型法進行三維虛擬形象的口型匹配，由于人類語言中的每個發音的口型與發音拆解為音素的口型存在一定的區別，導致三維虛擬形象發音不流暢的技術問題。

本發明是這樣實現的：

本發明的第一方面提供一種仿真度高的三維虛擬形象口型匹配方法，其中，包括以下步驟：

S10：獲取影視作品以及生活監控錄像中的人物正面說話錄像以及人物側面說話錄像，其中所述人物正面說話錄像為所述人物的全部嘴部區域均能顯示的連續幀組成的錄像；所述人物側面說話錄像為所述人物的全部嘴部區域部分顯示的連續幀組成的錄像；

S20：對所述人物正面說話錄像以及人物側面說話錄像進行畸變校正得到正面錄像以及側面錄像；

S30：根據所述正面錄像獲取每個發音對應的口型記為正面發音口型集，根據所述側面錄像獲取每個發音對應的口型記為側面發音口型集；

S40：獲取實驗人員對每個音素對應的三維口型，記為音素三維口型集；

S50：根據所述音素三維口型集對正面發音口型集中的每個口型進行三維處理，得到第一發音口型集；

S60：根據側面發音口型集對第一發音口型集中的每個口型進行流暢化處理，得到第二發音口型集；

S70：根據第二發音口型集對三維形象說話過程中的每個發音進行口型匹配，生成三維形象說話口型序列。