[發明專利]具有單個RGBD相機的對象的體積捕獲

在審

• 申請號: 202080001020.4
• 申請日: 2020-04-30
• 公開（公告）號: CN112166604A
• 公開（公告）日: 2021-01-01
• 發明（設計）人: 阿納斯塔西亞·特卡丘;里卡多·馬丁·布魯瓦利亞;沙赫拉姆·伊扎迪;楊爍冉;塞姆·克斯金;肖恩·瑞安·弗朗切斯科·法內洛;菲利普·戴維森;喬納森·泰勒;羅希特·潘迪;安德里·塔利亞薩基;帕夫洛·皮德利潘斯基
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: H04N13/282
• 分類號: H04N13/282;H04N13/111;H04N13/122;H04N13/257;H04N13/332;G06T7/55;G06T7/62;G06N3/04;G06N3/08
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 李寶泉;任慶威

1.一種用于生成圖像的方法，包括：

接收包括顏色數據和深度數據的第一圖像；

確定與顯示第二圖像的增強現實AR和/或虛擬現實VR顯示器相關聯的視點；

接收至少一個校正圖像，所述至少一個校正圖像包括所述第一圖像中的對象，所述對象處于與所述第一圖像中的所述對象的姿態相比不同的姿態；以及

基于所述第一圖像、所述視點和所述至少一個校正圖像生成所述第二圖像。

2.根據權利要求1所述的方法，其中，從單個相機接收所述第一圖像，所述單個相機被配置為捕獲如紅色、綠色、藍色(RGB)數據的所述顏色數據，以及捕獲所述深度數據和基于所述顏色數據生成所述深度數據中的至少一個。

3.根據權利要求1和2中的任一項所述的方法，其中，與所述AR和/或VR顯示器相關聯的視點不同于與所述第一圖像相關聯的視點。

4.根據權利要求1至3中的任一項所述的方法，其中，所述至少一個校正圖像是所述對象的輪廓圖像。

5.根據權利要求1至4中的任一項所述的方法，其中，所述第二圖像的生成包括：

通過將二維2D關鍵點映射到與所述至少一個校正圖像相關聯的深度數據的對應三維3D點來確定所述對象的目標姿態，以及

通過使用將所述至少一個校正圖像和所述對象的目標姿態作為輸入的卷積神經網絡使所述對象在所述至少一個校正圖像中翹曲來生成所述第二圖像。

6.根據權利要求1至5中的任一項所述的方法，其中，所述第二圖像的生成包括：

在具有所述至少一個校正圖像作為輸入的卷積神經網絡的第一遍歷中生成至少一個部分掩膜，

在所述卷積神經網絡的所述第一遍歷中生成至少一個部分圖像，以及

在具有所述至少一個部分掩膜和所述至少一個部分圖像作為輸入的所述卷積神經網絡的第二遍歷中生成所述第二圖像。

7.根據權利要求1至6中的任一項所述的方法，其中，所述第二圖像的生成包括使用通過使與翹曲所述對象相關聯的至少兩個損失最小化來訓練的卷積神經網絡的兩個遍歷。

8.根據權利要求1至7中的任一項所述的方法，其中，使用神經網絡混合所述第二圖像以生成所述第二圖像的缺失部分。

9.根據權利要求1至8中的任一項所述的方法，其中，所述第二圖像是所述對象的輪廓圖像，所述方法進一步包括將所述第二圖像與背景圖像合并。

10.根據權利要求1至9中的任一項所述的方法，進一步包括：

預處理階段，在所述預處理階段中在改變所述對象的所述姿態的同時捕獲多個圖像；

將所述多個圖像存儲為所述至少一個校正圖像；

基于目標姿態為所述至少一個校正圖像中的每一個生成相似度分數；以及

基于所述相似度分數，從所述至少一個校正圖像中選擇至少一個校正圖像。

11.根據權利要求1至10中的任一項所述的方法，進一步包括：

預處理階段，在所述預處理階段中在改變所述對象的所述姿態的同時捕獲多個圖像；

將所述多個圖像存儲為所述至少一個校正圖像；

在通信事件期間捕獲圖像，所述圖像包括處于新姿態的對象；以及

將所述圖像添加到存儲的多個圖像中。

12.一種非暫時性計算機可讀存儲介質，其上存儲有計算機可執行程序代碼，當在計算機系統上執行時，所述計算機可執行程序代碼使所述計算機系統執行包括以下的方法：

接收包括顏色數據和深度數據的第一圖像；

確定與顯示第二圖像的增強現實AR和/或虛擬現實VR顯示器相關聯的視點；

接收至少一個校正圖像，所述至少一個校正圖像包括所述第一圖像中的對象，所述對象處于與所述第一圖像中的所述對象的姿態相比不同的姿態；以及

基于所述第一圖像、所述視點和所述至少一個校正圖像生成所述第二圖像。