[發明專利]圖像生成裝置及其方法

有效

• 申請號: 201980070100.2
• 申請日: 2019-10-23
• 公開（公告）號: CN112913230B
• 公開（公告）日: 2023-09-12
• 發明（設計）人: C·韋雷坎普
• 申請（專利權）人: 皇家飛利浦有限公司
• 主分類號: H04N13/128
• 分類號: H04N13/128;H04N13/383;H04N13/344;H04N13/371;H04N13/117;H04N13/00
• 代理公司: 永新專利商標代理有限公司 72002
• 代理人: 孟杰雄

一種裝置包括確定器(305)，所述確定器確定第一眼觀看姿勢和第二眼觀看姿勢。接收器(301)接收具有相關聯的深度值的參考第一眼圖像和具有相關聯的深度值的參考第二眼圖像，所述參考第一眼圖像是針對第一眼參考姿勢的，并且所述參考第二眼圖像是針對第二眼參考姿勢的。深度處理器(311)確定參考深度值，并且修改器(307)通過將接收到的深度值與參考深度值之間的差異減小取決于第二或第一眼觀看姿勢與第二或第一眼參考姿勢之間的差異的量來生成經修改的深度值。合成器(303)基于經修改的深度值通過對參考第一眼圖像進行視圖移位來合成針對第一眼觀看姿勢的輸出第一眼圖像并且通過對參考第二眼圖像進行視圖移位來合成針對第二眼觀看姿勢的輸出第二眼圖像。術語第一和第二可以分別由左和右代替，反之亦然。例如，術語第一眼觀看姿勢、第二眼觀看姿勢、參考第一眼圖像和參考第二眼圖像可以分別由左眼觀看姿勢、右眼觀看姿勢、參考左眼圖像和參考右眼圖像代替。

技術領域

本發明涉及根據第一眼和第二眼圖像以及相關聯的深度的圖像生成，并且特別但非排他地涉及用于例如受限的虛擬現實應用和服務的圖像生成。

背景技術

近年來，隨著不斷開發和引入新的服務以及利用和消費視頻的方式，圖像和視頻應用的種類和范圍已大大增加。

例如，一種越來越流行的服務是以這樣的方式提供圖像序列：觀看者能夠主動地和動態地與系統交互以改變繪制的參數。在許多應用中，非常吸引人的特征是改變觀看者的有效觀看位置和觀看方向(觀看姿勢)的能力，這例如允許觀看者在呈現的場景中移動并“環顧四周”。這樣的特征可以具體地使得能夠向用戶提供虛擬現實體驗。

對于許多應用還期望被呈現的圖像是三維圖像。實際上，為了優化觀看者的沉浸感，通常優選的是，用戶將呈現的場景體驗為三維場景。

支持基于(尤其是三維)場景表示的各種服務的主要問題是需要大量數據。這導致高資源要求，例如對大型存儲資源的需要。然而，在許多情形中，最大的限制不是存儲或處理要求，而是通信要求。如果要求表示場景的數據必須通過帶寬受限的通信通道(無論是內部還是外部)進行傳遞，則高度期望嘗試減小需要被傳遞的數據量。

例如，在許多情形中并且對于許多應用，可以使用客戶端服務器方法，其中，執行例如虛擬現實應用的遠程客戶端被耦合到中央服務，該中央服務通過帶寬受限的鏈路提供所需的場景數據。

特定的建議服務試圖通過允許適于用戶的移動的3D體驗來提供受限的虛擬現實體驗，只要用戶的移動小并且與給定參考點相差不太遠。例如，可以為給定的虛擬視點提供場景的3D體驗，該體驗適于在基本停留在同一地點時進行較小的頭部移動的用戶。例如，該服務可以提供一種體驗，其中，繪制的3D視圖跟隨諸如點頭或搖頭的移動，但是如果用戶將他的頭部基本移到側面則不跟隨。只要用戶的眼睛保持在小的最佳位點(sweet?spot)內，服務就可以提供完整的3D體驗。對于每只眼睛，該最佳位點能夠具有僅幾厘米的范圍。

在捕獲和傳遞的數據兩者方面，這樣的方法能夠允許基于有限數據量來提供高質量的3D體驗。通常，可以將具有相關聯的深度圖的左眼圖像和右眼圖像提供給本地繪制器。然后，對于非常接近標稱位置(在其最佳位點區域)的位置，繪制器可以基于接收到的圖像和深度圖來生成當前視圖的視圖圖像。這可以在許多情形中提供非常自然的體驗，同時保持非常低的數據速率。例如，對于會議應用，兩個圖像流(每只眼睛一個)和相關聯的深度數據的提供可以允許具有一致的立體感和運動視差的遠程端的3D表示，只要用戶保持在同一位置并且僅做出很小的頭部移動。因此，可以提供非常自然和高質量的體驗。

然而，關于此類服務的問題在于，用戶可能潛在地移動到最佳位點之外。這將傾向于導致圖像質量的快速且顯著的降級，包括引入可感知的偽影(例如由于缺乏去遮擋數據)。在許多情況下，質量可能很快降級，從而導致非常非期望的用戶體驗。