[發明專利]虛擬現實視差校正

在審

• 申請號: 202210503333.0
• 申請日: 2018-08-08
• 公開（公告）號: CN114785996A
• 公開（公告）日: 2022-07-22
• 發明（設計）人: S·J·迪維爾迪;A·B·S·帕徹尤;A·P·赫茨曼
• 申請（專利權）人: 奧多比公司
• 主分類號: H04N13/117
• 分類號: H04N13/117;H04N13/122;H04N13/128;H04N13/271;H04N13/279;H04N13/332;H04N13/344;H04N13/366;G06T19/00;G06T17/20;G06T15/20;G06N3/08;G06N3/04;G0
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 酆迅

描述了被配置為對從單個原點捕獲的VR數字內容的視差進行校正的虛擬現實視差校正技術和系統。在一個示例中，采用視差校正模塊來對在從與VR數字內容相對應的原點到相對于VR數字內容的輸出的新視點的變化中引起的偽像進行校正。如以下部分中進一步描述的，視差校正模塊可以采用各種技術來校正視差。這些技術的示例包括深度過濾、邊界標識、拖尾檢測、網格切割、置信度估計、模糊和誤差擴散。

分案申請說明

本申請是申請日為2018年8月8日、申請號為201810896974.0、名稱為“虛擬現實視差校正”的中國發明專利申請的分案申請。

技術領域

本公開涉及計算機技術領域，更具體地，涉及在數字媒體環境中用以校正視差以解決關于虛擬現實(VR)數字內容的視角變化的系統和方法。

背景技術

虛擬現實(VR)數字內容(諸如VR數字視頻或VR數字圖像)采用相機系統(例如，數字相機陣列)來捕獲物理環境的圖像場景。因此，當查看該內容時，相機系統在物理環境中的位置作為與VR數字內容相關的原點。例如，為了渲染VR數字內容，左眼和右眼全景數字圖像由VR設備顯示為立體圖像以支持深度的出現。因此，通過與VR設備的交互(例如通過用戶頭部的旋轉運動)，用戶可以在原點處相對于該顯示器以不同的取向“環顧”。

然而，該技術引入了挑戰，因為相機系統被局限于從原點捕獲物理環境，并且因此該內容的顯示被局限于傳統VR設備的原點。雖然用戶的旋轉頭部移動可以用于正確地查看圖像場景的不同部分，但是例如，用戶頭部的重新定位(例如，平移)(例如，左右、上下)不被支持或者導致無法通過傳統VR設備正確地更新VR數字內容的輸出。這是因為傳統的VR設備沒有正確地更新依賴于深度的視差，其中圖像場景中原點(例如，相機)附近的對象比圖像場景中更遠離原點的對象表現出更大的移動量。視差效應是一種強烈的深度線索，人類可以使用這個強烈的深度線索來正確地解釋真實場景。因此，傳統的VR設備無法正確地再現視差深度線索會損害圖像場景的真實感，并且甚至可能導致用戶不適，因為用戶頭部在不同位置之間的移動并沒有跟隨有用戶正在查看的內容。

用于解決該挑戰的傳統的技術和系統涉及顯著地更加費力地捕獲圖像場景和/或顯著地更昂貴的設備。在一個傳統示例中，相機系統用于從不同位置捕獲靜態場景的多個圖像。因此，該傳統技術限于靜態場景，并且因此不適用于其他類型的VR數字內容，諸如VR數字視頻。在另一傳統示例中，使用光場相機來在多個不同位置捕獲圖像場景的入射光。然而，與用于從單個原點捕獲圖像場景的相機系統相比，光場相機的成本是要比其貴若干數量級并且具有有限的可用性。

發明內容

描述了虛擬顯示視差校正技術和系統，其被配置為對從單個原點捕獲的VR數字內容的視差(例如，對于視頻或靜態數字圖像的每個幀)進行校正以支持相對于該單個原點的位置變化(例如，平移)。以這種方式，這些技術適用于可以使用普通設備捕獲的各種VR數字內容。此外，這些技術改善了用戶與VR數字內容的交互以使其看起來很自然，并且模仿與由VR數字內容捕獲的圖像場景的真實世界交互，并且可以實時地這樣執行，這在使用傳統技術的情況下是不可能的。

在一個示例中，采用視差校正模塊來對在相對于VR數字內容的輸出的視點變化(例如，用戶的頭部左右、上下等的平移重新定位)中引起的偽像進行校正。視差校正模塊可以采用各種技術來校正這些偽像并且解決視差。如以下部分中進一步描述的，這些技術的示例包括深度過濾、邊界標識、拖尾檢測、網格切割、置信度估計、模糊和誤差擴散。

本“發明內容”以簡化的形式介紹了一些概念，這些概念將在下面的“具體實施方式”中進一步描述。因此，本“發明內容”不旨在標識所要求保護的主題的必要特征，也不旨在用于幫助確定所要求保護的主題的范圍。

附圖說明

參考附圖描述詳細描述。圖中表示的實體可以指示一個或多個實體，并且因此在討論中可以可互換地對單個或多個形式的實體的引用。