[發明專利]一種人像視頻處理方法

有效

• 申請號: 202110615917.2
• 申請日: 2021-06-02
• 公開（公告）號: CN113221840B
• 公開（公告）日: 2022-07-26
• 發明（設計）人: 楊志景;徐永宗;溫瑞冕;李為杰;李凱;凌永權
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 林麗明

本發明公開了一種人像視頻處理方法，包括：獲取第一人物原始視頻片段，從中提取臉部參數、體態參數和音頻數據；獲取第二人物原始視頻片段，從中提取面部控制信息和動作控制信息；根據第一人物的臉部參數、音頻數據和第二人物的面部控制信息進行面部表情遷移，獲得第一人物的擬合新面部圖；根據第一人物的體態參數和第二人物的動作控制信息進行體態動作遷移，獲得第一人物的擬合新體態圖；利用擬合新面部圖替換擬合新體態圖中的面部，生成第一人物新全身圖；將所有第一人物新全身圖合成視頻，載入音頻數據，獲得第一人物的新視頻片段。本發明生成的人物新視頻片段具有逼真面部細節、自然姿態動作、畫音同步的人物視頻，真實感強，觀感自然。

技術領域

本發明涉及人像視頻處理的技術領域，更具體地，涉及一種人像視頻處理方法。

背景技術

隨著科學技術和互聯網經濟的不斷發展，視頻影像逐漸成為人們生活中不可或缺的一部分。伴隨著短視頻的火爆，使越來越多人意識到這種直觀、便捷和低門檻的視頻影像才是被大眾所接受的。近年來許多行業開啟了互聯網+模式，以在線視頻的新模式呈現在人們面前，例如在線教育、線上直播賣貨、新聞主播等，新模式所帶來的經濟效益是十分巨大的。可是漸漸地現有的視頻影像技術的缺點也暴露出來，以在線教育為例，錄課模式是在線教育領域中最常見的方式，在線教育平臺簽訂優秀教師，為教師們錄制一整套的課程放置互聯網上進行銷售。然而每位教師每年錄制的課程的相似度極高，并且錄制出來的課需要經過剪輯、組合和加工才能進行銷售，這樣的視頻因為剪輯技術問題導致缺乏流暢感，會有明顯的斷層、畫面抖動和掉幀的現象，用戶體驗較差。新聞主播也有同樣的特性，重復性高，但由于新聞的時效性，直播過程中對于主播面部表情、體態動作和話音同步有極高的要求。所以目前人像視頻主要存在以下幾個問題：1)生成人物視頻僅僅只有畫面，需要在進行后期配音，容易出現畫音不同步的情況，導致觀感不自然，真實感不強，觀眾體驗感差。2)目前人物視頻合成方法大多關注人物臉部，忽視了人物動作和姿態，人物不自然，應用范圍局限。3)人物數據利用率低，同一個人的不同動作的視頻或不同的內容的視屏，需要重新收集人物的所有數據重新制作。4)傳統人像視頻中采取人工和軟件的合成方法，生產成本高，生產周期慢。

2020年7月3日公開的中國專利CN111368853A公開了一種用于訓練模型的標簽構建方法、系統、裝置及存儲介質，通過對人物圖像進行標簽提取，將復雜的人物圖像，簡化為關鍵點二維坐標或二維掩碼，用于訓練生成對抗神經網絡模型(GAN模型)；通過簡單地修改關鍵點的坐標位置，或者二維掩碼形狀，就可以生成不同的標簽圖像，輸入訓練好的生成對抗神經網絡模型，即可生成與標簽對應的人物圖像，再進一步合成視頻；該方法僅關注人物臉部細節，忽視了人物動作和姿態，人物不自然；并且沒有考慮到音頻與視頻匹配的問題，直接加載音頻會是話音不同步，后期配音會使視頻中的人物的口型無法音頻內容匹配，真實感差。

發明內容

本發明為克服上述現有人像視頻生成技術無法兼顧準確的臉部細節和姿態動作的缺陷，提供一種人像視頻處理方法，可以生成具有逼真面部細節、自然姿態動作、畫音同步的人物視頻，真實感強，觀感自然。

為解決上述技術問題，本發明的技術方案如下：

本發明提供一種人像視頻處理方法，包括：

獲取第一人物原始視頻片段和第二人物原始視頻片段；

從第一人物原始視頻片段中提取每一幀圖像的臉部參數、體態參數和第一人物原始視頻片段的音頻數據；從第二人物原始視頻片段中提取面部控制信息和動作控制信息；

面部表情遷移：根據第一人物原始視頻片段的臉部參數、音頻數據和第二人物原始視頻片段的面部控制信息，獲得第一人物的擬合新面部圖；

體態動作遷移：根據第一人物原始視頻片段的體態參數和第二人物原始視頻片段的動作控制信息，獲得第一人物的擬合新體態圖；

利用第一人物的擬合新面部圖替換第一人物的擬合新體態圖中的面部，生成第一人物新全身圖；