[發明專利]具有單個RGBD相機的對象的體積捕獲

在審

• 申請號: 202080001020.4
• 申請日: 2020-04-30
• 公開（公告）號: CN112166604A
• 公開（公告）日: 2021-01-01
• 發明（設計）人: 阿納斯塔西亞·特卡丘;里卡多·馬丁·布魯瓦利亞;沙赫拉姆·伊扎迪;楊爍冉;塞姆·克斯金;肖恩·瑞安·弗朗切斯科·法內洛;菲利普·戴維森;喬納森·泰勒;羅希特·潘迪;安德里·塔利亞薩基;帕夫洛·皮德利潘斯基
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: H04N13/282
• 分類號: H04N13/282;H04N13/111;H04N13/122;H04N13/257;H04N13/332;G06T7/55;G06T7/62;G06N3/04;G06N3/08
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 李寶泉;任慶威

一種方法，包括：接收包括顏色數據和深度數據的第一圖像；確定與顯示第二圖像的增強現實(AR)和/或虛擬現實(VR)顯示器相關聯的視點；接收至少一個校正圖像，其包括第一圖像中的對象，該對象處于與第一圖像中的對象的姿態相比不同的姿態，并基于第一圖像、視點和至少一個校正圖像來生成第二圖像。

相關申請的交叉引用

本申請是要求于2019年4月30日提交的，標題為“VOLUMETRIC CAPTURE OF HUMANSWITH A SINGLE RGBD CAMERA VIA SEMI-PARAMETRIC LEARNING(具有通過半參量學習的單個RGBD相機的人的體積捕獲)”的美國臨時專利申請No.62/840,905的優先權的于2020年4月29日提交的標題為“VOLUMETRIC CAPTURE OF OBJECTS WITH A SINGLE RGBD CAMERA(具有單個RGBD相機的對象的體積捕獲)”的美國非臨時專利申請No.16/861,530的繼續申請并要求其優先權，該美國臨時專利申請的全部公開內容通過引用合并于此。

本申請還要求于2019年4月30日提交的美國臨時專利申請No.62/840,905的優先權，其全部公開內容通過引用合并于此。

背景技術

復雜的捕獲裝備可以用于生成非常高質量的體積重建(例如，圖像)。這些系統依靠高端，昂貴的基礎架構來處理裝備捕獲的大量數據。每幀幾分鐘的所需計算時間使當前技術不適用于實時應用。捕獲人類的另一種方法是將實時非剛性融合管道擴展到多視圖捕獲設置。但是，結果受到幾何形狀失真、紋理不佳和照明不準確的困擾，從而難以達到增強現實(AR)/虛擬現實(VR)應用所需的質量水平。

發明內容

在一般方面，設備、系統，非暫時性計算機可讀介質(在其上存儲可以在計算機系統上執行的計算機可執行程序代碼)和/或方法可以利用方法執行以下過程，包括：接收包括顏色數據和深度數據的第一圖像；確定與顯示第二圖像的增強現實(AR)和/或虛擬現實(VR)顯示器相關聯的視點；接收包括第一圖像中的對象的至少一個校正圖像，該對象處于與第一圖像中的對象的姿態相比不同的姿態；并基于第一圖像、視點和至少一個校正圖像來生成第二圖像。

實現方式可以包括以下一個或多個特征。例如，可以從被配置為捕獲如紅色、綠色、藍色(RGB)數據的顏色數據并且捕獲深度數據中的至少一個并基于顏色數據生成深度數據的單個相機接收第一圖像。與AR和/或VR顯示器相關聯的視點可以不同于與第一圖像相關聯的視點。至少一個校正圖像可以是對象的輪廓圖像。生成第二圖像可以包括：通過將二維(2D)關鍵點映射到與至少一個校正圖像相關聯的深度數據的對應三維(3D)點，來確定對象的目標姿態，以及通過使用卷積神經網絡翹曲至少一個校正圖像中的對象來生成第二圖像，該卷積神經網絡將至少一個校正圖像和對象的目標姿態作為輸入。

例如，第二圖像的生成可以包括在以至少一個校正圖像作為輸入的卷積神經網絡的第一遍歷中生成至少一個部分掩膜，在卷積神經網絡的第一遍歷中生成至少一個部分圖像，并以在至少一個部分掩膜和至少一個部分圖像作為輸入的卷積神經網絡的第二遍歷中生成第二圖像。第二圖像的生成可以包括使用通過最小化與翹曲對象相關聯的至少兩個損失來訓練的卷積神經網絡的兩個遍歷。可以使用神經網絡混合第二圖像以生成第二圖像的缺失部分。第二圖像可以是對象的輪廓圖像，該方法還包括將第二圖像與背景圖像合并。