[發明專利]基于神經網絡的動態人體自由視點視頻的生成方法和裝置

有效

• 申請號: 202110310140.9
• 申請日: 2021-03-23
• 公開（公告）號: CN113096144B
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 劉燁斌;李哲;于濤
• 申請（專利權）人: 清華大學
• 主分類號: G06T7/13
• 分類號: G06T7/13;G06T7/181;G06T7/90;G06N3/04;G06N3/08
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 韓海花

本申請提出一種基于神經網絡的動態人體自由視點視頻的生成方法和裝置，涉及計算機視覺與計算機圖形學技術領域，其中，方法包括：重建單個人體的預掃描模型；通過多個RGB相機對所述單個人體拍攝，獲取RGB圖像序列；對預掃描模型使進行變形，使得變形后的預掃描模型與每幀RGB圖像匹配；對預掃描模型采樣，并在每一個采樣點處定義一個隱碼，并基于神經網絡聯合優化隱碼與網絡參數；獲取任意渲染視角，基于任意渲染視角生成自由視點視頻。由此，基于多個RGB相機捕獲RGB圖像序列，并根據此序列生成時域連續、動態的自由視點視頻，生成更真實、動態的渲染結果。

技術領域

本申請涉及計算機視覺與計算機圖形學技術領域，尤其涉及一種基于神經網絡的動態人體自由視點視頻的生成方法和裝置。

背景技術

動態人體自由視點視頻生成是計算機圖形學和計算機視覺領域的重點問題。高質量的人體自由視點視頻在影視娛樂、人體數字化等領域有著廣泛的應用前景和重要的應用價值。但是高質量、高擬真度的人體自由視點視頻獲取通常依靠價格昂貴的激光掃描儀或者多相機陣列系統對人體建模來實現，雖然效果較為真實，但是也顯著存在著一些缺點：第一，設備復雜，這些方法往往需要多相機陣列的搭建；第二，速度慢，往往重建一個三維人體模型需要至少10分鐘到數小時的時間，而重建序列便更慢。

發明內容

本申請旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本申請的第一個目的在于提出一種基于神經網絡的動態人體自由視點視頻的生成方法，僅需要多個RGB相機，方便快速的生成動態、真實的人體自由視點視頻，可以為用戶提供良好的交互式三維重建體驗。

本申請的第二個目的在于提出一種基于神經網絡的動態人體自由視點視頻的生成裝置。

為達上述目的，本申請第一方面實施例提出了一種基于神經網絡的動態人體自由視點視頻的生成方法，包括：

重建單個人體的預掃描模型；

通過多個RGB相機對所述單個人體拍攝，獲取RGB圖像序列；

對所述預掃描模型使進行變形，使得變形后的所述預掃描模型與每幀RGB圖像匹配；

對所述預掃描模型采樣，并在每一個采樣點處定義一個隱碼，并基于神經網絡聯合優化隱碼與網絡參數；

獲取任意渲染視角，基于所述任意渲染視角生成自由視點視頻。

本申請實施例的基于神經網絡的動態人體自由視點視頻的生成方法，通過重建單個人體的預掃描模型；通過多個RGB相機對所述單個人體拍攝，獲取RGB圖像序列；對預掃描模型使進行變形，使得變形后的所述預掃描模型與每幀RGB圖像匹配；對所述預掃描模型采樣，并在每一個采樣點處定義一個隱碼，并基于神經網絡聯合優化隱碼與網絡參數；獲取任意渲染視角，基于所述任意渲染視角生成自由視點視頻。由此，基于多個RGB相機捕獲RGB圖像序列，并根據此序列生成時域連續、動態的自由視點視頻，生成更真實、動態的渲染結果。

可選地，在本申請的一個實施例中，所述重建單個人體的預掃描模型，包括：使用多相機系統或掃描儀重建出所述單個人體的預掃描模型。

可選地，在本申請的一個實施例中，所述對所述預掃描模型使進行變形，使得變形后的所述預掃描模型與每幀RGB圖像匹配，包括：

基于所述預掃描模型對所述每幀RGB圖像進行運動跟蹤，獲取所述每幀RGB圖像對應的同拓撲模型：

建立能量函數(1)，通過最優化求解出所述預掃描模型的非剛性變形參數；

E＝E_color+E_silhouette+λ_smoothE_smooth (1)