[發明專利]基于部分的跟蹤的方法、設備和系統

有效

• 申請號: 201780090056.2
• 申請日: 2017-08-23
• 公開（公告）號: CN110637323B
• 公開（公告）日: 2023-04-11
• 發明（設計）人: 張慶
• 申請（專利權）人: 索尼公司
• 主分類號: G06T7/55
• 分類號: G06T7/55;G06T7/246
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 鄭宗玉

用于自由視點視頻內容的網格跟蹤實現方式采用基于部分的關鍵幀，這使得能夠更高效且更準確地實現對自由視點視頻的處理。

技術領域

本發明涉及三維圖形。更具體地，本發明涉及稀疏視圖多視圖三維圖形。

背景技術

捕獲包含真實人類行為的完整3D視頻已成為計算機視覺和圖形領域的熱門話題之一。利用重構的幾何形狀序列，最近開發了應用程序(例如自由視點視頻(FVV))以允許遠程用戶在任何視點觀察物理逼真的運動和外形，并且在佩戴虛擬/增強現實(VR/AR)硬件時為他們帶來身臨其境的體驗。這背后的核心技術是利用多視圖彩色攝像機、單個或多個深度傳感器或其混合組合來捕獲行為。

在過去的十年中，行為捕獲已從以模板模型或完全預掃描的3D角色開始并且隨著時間的推移將其擬合到所捕獲的序列，逐步發展成在捕獲的同時重構實時地演進的4D(空間和時間)幾何形狀。前者將捕獲限制到僅具有相同模板或角色的特定場景，而后者指的是時間融合，其在沒有任何先驗模板的情況下適用于一般場景，已引起了學術界和行業兩者的更多關注。

盡管已經為動態場景融合(例如動態融合(DynamicFusion)、體積變形(VolumeDeform)、貝葉斯融合(BayesianFusion)、融合4D(Fusion4D))做出了巨大努力，但是主要關注點是提高重構的完整性和模型質量。由于大場景的時間配準依賴于在非常大的空間中搜索的解決方案，因此通常假設捕獲的行為是慢動作和無異常值(例如，多個深度傳感器和攝像機)。另一方面，配準誤差仍將會逐幀地累積，以防止長時間跟蹤。在數十個幀上成功地跟蹤網格后，一些三角形變得過度變形或發生拓撲變化，并且需要重置參考模型。因此，先前的融合方法傾向于為每個時間幀存儲獨立重構的網格的靈活方式，該網格隨時間推移被簡單地布置或高速緩存，從而導致花費大量帶寬或存儲器的非結構化序列。

FVV是允許用戶隨時改變視頻的視點的視頻。例如，觀看體育視頻的用戶可以從自本壘板后面的視角改變為從外場的視角觀看體育視頻。這使得用戶/查看者能夠從獨特的視角查看內容。

發明內容

用于自由視點視頻內容的網格跟蹤實現方式采用基于部分的關鍵幀，這使得能夠更高效且更準確地實現對自由視點視頻的處理。

在一個方面，一種方法包括將自由視點視頻內容中的對象分割成各個部分，跟蹤所述對象的各個部分，縫合所述對象的各個部分以及整合所述對象的各個部分以重新生成所述對象。該方法包括識別對部分的跟蹤的失敗。該方法包括實現基于部分的關鍵幀細化、整個網格跟蹤以及基于所述對象的各個部分的重新網格化。將所述對象分割成各個部分包括：將所述對象分割成各個身體部分。跟蹤所述對象的各個部分包括：存儲各個部分的定位和位置信息。縫合所述對象的各個部分包括：縫合來自第一時間的第一部分和來自第二時間的第二部分，其中第一時間和第二時間能夠是不同的時間。整合所述對象的各個部分確保所述對象的各個部分被交融(blend)在一起以呈現單個對象的外形。該方法還包括使用最多10個攝像機來獲取所述自由視點視頻內容。該方法還包括使用在每個軸上與其他攝像機具有至少30度的分離度的攝像機來獲取所述自由視點視頻內容。