[發(fā)明專利]圖像生成裝置及其方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201980070100.2
• 申請(qǐng)日: 2019-10-23
• 公開（公告）號(hào): CN112913230B
• 公開（公告）日: 2023-09-12
• 發(fā)明（設(shè)計(jì)）人: C·韋雷坎普
• 申請(qǐng)（專利權(quán)）人: 皇家飛利浦有限公司
• 主分類號(hào): H04N13/128
• 分類號(hào): H04N13/128;H04N13/383;H04N13/344;H04N13/371;H04N13/117;H04N13/00
• 代理公司: 永新專利商標(biāo)代理有限公司 72002
• 代理人: 孟杰雄

一種裝置包括確定器(305)，所述確定器確定第一眼觀看姿勢(shì)和第二眼觀看姿勢(shì)。接收器(301)接收具有相關(guān)聯(lián)的深度值的參考第一眼圖像和具有相關(guān)聯(lián)的深度值的參考第二眼圖像，所述參考第一眼圖像是針對(duì)第一眼參考姿勢(shì)的，并且所述參考第二眼圖像是針對(duì)第二眼參考姿勢(shì)的。深度處理器(311)確定參考深度值，并且修改器(307)通過將接收到的深度值與參考深度值之間的差異減小取決于第二或第一眼觀看姿勢(shì)與第二或第一眼參考姿勢(shì)之間的差異的量來生成經(jīng)修改的深度值。合成器(303)基于經(jīng)修改的深度值通過對(duì)參考第一眼圖像進(jìn)行視圖移位來合成針對(duì)第一眼觀看姿勢(shì)的輸出第一眼圖像并且通過對(duì)參考第二眼圖像進(jìn)行視圖移位來合成針對(duì)第二眼觀看姿勢(shì)的輸出第二眼圖像。術(shù)語第一和第二可以分別由左和右代替，反之亦然。例如，術(shù)語第一眼觀看姿勢(shì)、第二眼觀看姿勢(shì)、參考第一眼圖像和參考第二眼圖像可以分別由左眼觀看姿勢(shì)、右眼觀看姿勢(shì)、參考左眼圖像和參考右眼圖像代替。

技術(shù)領(lǐng)域

本發(fā)明涉及根據(jù)第一眼和第二眼圖像以及相關(guān)聯(lián)的深度的圖像生成，并且特別但非排他地涉及用于例如受限的虛擬現(xiàn)實(shí)應(yīng)用和服務(wù)的圖像生成。

背景技術(shù)

近年來，隨著不斷開發(fā)和引入新的服務(wù)以及利用和消費(fèi)視頻的方式，圖像和視頻應(yīng)用的種類和范圍已大大增加。

例如，一種越來越流行的服務(wù)是以這樣的方式提供圖像序列：觀看者能夠主動(dòng)地和動(dòng)態(tài)地與系統(tǒng)交互以改變繪制的參數(shù)。在許多應(yīng)用中，非常吸引人的特征是改變觀看者的有效觀看位置和觀看方向(觀看姿勢(shì))的能力，這例如允許觀看者在呈現(xiàn)的場(chǎng)景中移動(dòng)并“環(huán)顧四周”。這樣的特征可以具體地使得能夠向用戶提供虛擬現(xiàn)實(shí)體驗(yàn)。

對(duì)于許多應(yīng)用還期望被呈現(xiàn)的圖像是三維圖像。實(shí)際上，為了優(yōu)化觀看者的沉浸感，通常優(yōu)選的是，用戶將呈現(xiàn)的場(chǎng)景體驗(yàn)為三維場(chǎng)景。

支持基于(尤其是三維)場(chǎng)景表示的各種服務(wù)的主要問題是需要大量數(shù)據(jù)。這導(dǎo)致高資源要求，例如對(duì)大型存儲(chǔ)資源的需要。然而，在許多情形中，最大的限制不是存儲(chǔ)或處理要求，而是通信要求。如果要求表示場(chǎng)景的數(shù)據(jù)必須通過帶寬受限的通信通道(無論是內(nèi)部還是外部)進(jìn)行傳遞，則高度期望嘗試減小需要被傳遞的數(shù)據(jù)量。

例如，在許多情形中并且對(duì)于許多應(yīng)用，可以使用客戶端服務(wù)器方法，其中，執(zhí)行例如虛擬現(xiàn)實(shí)應(yīng)用的遠(yuǎn)程客戶端被耦合到中央服務(wù)，該中央服務(wù)通過帶寬受限的鏈路提供所需的場(chǎng)景數(shù)據(jù)。

特定的建議服務(wù)試圖通過允許適于用戶的移動(dòng)的3D體驗(yàn)來提供受限的虛擬現(xiàn)實(shí)體驗(yàn)，只要用戶的移動(dòng)小并且與給定參考點(diǎn)相差不太遠(yuǎn)。例如，可以為給定的虛擬視點(diǎn)提供場(chǎng)景的3D體驗(yàn)，該體驗(yàn)適于在基本停留在同一地點(diǎn)時(shí)進(jìn)行較小的頭部移動(dòng)的用戶。例如，該服務(wù)可以提供一種體驗(yàn)，其中，繪制的3D視圖跟隨諸如點(diǎn)頭或搖頭的移動(dòng)，但是如果用戶將他的頭部基本移到側(cè)面則不跟隨。只要用戶的眼睛保持在小的最佳位點(diǎn)(sweet?spot)內(nèi)，服務(wù)就可以提供完整的3D體驗(yàn)。對(duì)于每只眼睛，該最佳位點(diǎn)能夠具有僅幾厘米的范圍。

在捕獲和傳遞的數(shù)據(jù)兩者方面，這樣的方法能夠允許基于有限數(shù)據(jù)量來提供高質(zhì)量的3D體驗(yàn)。通常，可以將具有相關(guān)聯(lián)的深度圖的左眼圖像和右眼圖像提供給本地繪制器。然后，對(duì)于非常接近標(biāo)稱位置(在其最佳位點(diǎn)區(qū)域)的位置，繪制器可以基于接收到的圖像和深度圖來生成當(dāng)前視圖的視圖圖像。這可以在許多情形中提供非常自然的體驗(yàn)，同時(shí)保持非常低的數(shù)據(jù)速率。例如，對(duì)于會(huì)議應(yīng)用，兩個(gè)圖像流(每只眼睛一個(gè))和相關(guān)聯(lián)的深度數(shù)據(jù)的提供可以允許具有一致的立體感和運(yùn)動(dòng)視差的遠(yuǎn)程端的3D表示，只要用戶保持在同一位置并且僅做出很小的頭部移動(dòng)。因此，可以提供非常自然和高質(zhì)量的體驗(yàn)。

然而，關(guān)于此類服務(wù)的問題在于，用戶可能潛在地移動(dòng)到最佳位點(diǎn)之外。這將傾向于導(dǎo)致圖像質(zhì)量的快速且顯著的降級(jí)，包括引入可感知的偽影(例如由于缺乏去遮擋數(shù)據(jù))。在許多情況下，質(zhì)量可能很快降級(jí)，從而導(dǎo)致非常非期望的用戶體驗(yàn)。