[發明專利]計算設備上修改圖像的方法

在審

• 申請號: 201880069542.0
• 申請日: 2018-08-20
• 公開（公告）號: CN111279293A
• 公開（公告）日: 2020-06-12
• 發明（設計）人: R·佩珀爾;A·伯利
• 申請（專利權）人: 福沃科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 北京市鑄成律師事務所 11313
• 代理人: 潘曉松;林蕾

公開了一種計算設備上修改圖像的方法。該方法包括提供表示三維場景的至少一部分的圖像數據，場景是當人類觀察者注視在場景內的視覺注視點處時，由人類觀察者從觀察點可見的；通過在顯示設備上渲染圖像數據來顯示圖像；通過用戶輸入捕獲裝置捕獲用戶輸入，其中，捕獲包括監視用戶的凝視點，以便確定三維場景中的空間坐標，坐標表示人類觀察者的可移動視覺注視點；在計算上處理圖像數據，以便將三維場景的每個對象包圍在三維檢測區域中，三維檢測區域配置為識別相應對象與視覺注視點的重合；通過以下方式修改圖像：在計算上隔離圖像內的注視區域，注視區域由表示圖像內的圖像對象的圖像數據子集定義，其中圖像對象與視覺注視點相關聯；在空間上重構圖像數據子集，以在計算上擴展注視區域；在空間上重構相對于圖像數據子集的剩余圖像數據，以根據與注視區域的距離以漸進方式在計算上壓縮圖像相對于注視區域的周邊區域，該方法還包括確定用戶的頭部與顯示設備之間的距離；在計算上處理圖像數據，以便使注視區域朝向顯示設備的顯示器的中心移動，其中，注視區域表示由相應的檢測區域包圍的對象；其中，對注視區域的在計算上擴展和對周邊區域的在計算上壓縮是通過用戶的頭部與顯示設備之間的距離來調整的。

技術領域

本發明涉及一種方法，該方法允許計算設備的用戶基于來自眼睛和頭部跟蹤傳感器的輸入，通過改變場景的三維幾何形狀來修改和探索計算機生成的三維場景。

背景技術

人類的視覺系統非常復雜，由許多相互作用的過程組成，其中一些相互作用的過程發生在大腦的視覺區，而其他相互作用的過程則發生在身體的生理機能中。自然的視覺感知依賴于人類使他們的眼睛和頭部移動的能力。眼睛的運動使我們能夠跟蹤運動的對象，掃描環境并解決感知模糊，所有這些都可以通過協調頭部運動來增強。在正常視覺的情況下，眼睛不停運動，同時頭部完全靜止是很少見的，且眾所周知，失去眼部運動會嚴重損害視覺感知。像許多生物一樣，人類能夠差動地并且協調地使眼睛和頭部運動。例如，我們可以將視線專注于空間中的穩定點處，同時轉動我們的頭部。即使我們的頭部處于運動中，對空間中所注視的點的感知穩定性也得以保持。

計算機圖形系統越來越多地用于對3D場景進行建模和顯示，并且與這些3D場景進行交互以創建沉浸式體驗的方法越來越多，諸如通過紅外運動和3D傳感器、操縱桿、計算機鼠標、頭部和眼睛跟蹤器以及游戲手柄。

當前的3D計算機圖形環境是非自然的，這是因為當前的3D計算機圖形環境依靠一系列人工行為、慣例和感知線索來顯示3D空間并允許用戶對其進行探索。例如，在自然視覺中，我們使我們的眼睛和頭部移動以查看空間的不同部分，但是在計算機圖形學中，我們移動鼠標、操縱桿或其他設備以將3D場景重新定位到圖像顯示中的所需位置。作為另一個示例，3D計算機圖形環境經常使用線性透視的幾何形狀將3D場景渲染到2D顯示器，這不足以渲染3D場景的廣角視圖，這是因為它會導致3D場景邊緣的失真以及3D場景中心對象的過度縮小。

許多3D計算機圖形系統的另一個限制在于，在許多情況下，在任何一次都只能在圖像顯示中顯示3D場景的一小部分。例如，使用線性透視的虛擬攝像機通常會顯示3D場景水平方向上約40-60°，而正常人類會看到真實3D場景水平方向上大約180°。可以利用通過計算生成的魚眼鏡頭或等量矩形投影可以實現更大的視角，但是這些通常會導致圖像看起來更加不自然失真。這種狹窄的視野限制了3D圖形的許多實現，例如在頭戴式顯示器或移動設備上的3605視頻中，在這種情況下，用戶需要在空間中移動其頭部或設備以導航或探索3D場景，這可能會導致身體不適和疲勞。

另一個問題在于：與我們對圖像所表示的3D現實世界的體驗相比，根據線性透視原理生成的圖像通常看起來是平坦的，或者無法以人類對其進行自然感知的方式來表示視覺空間。出現這些問題的原因有很多，包括以下事實，即，圖像中的深度線索(諸如遮擋、視差、陰影等)被表示圖像平坦的線索(諸如圖像平面的幾何形狀、屏幕表面的光澤等)所抑制。如上所述，又一原因在于：由常規幾何方法生成的對圖像中視覺空間的組織并非是感知自然的，這是因為當從正確投影中心以外的任意地方觀看圖像時，對象可能會變得過度放大或縮小，從而顯得失真。