[發(fā)明專利]用于生成圖像的裝置和方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201880055474.2
• 申請(qǐng)日: 2018-06-21
• 公開（公告）號(hào): CN111052737B
• 公開（公告）日: 2022-04-05
• 發(fā)明（設(shè)計(jì)）人: B·克龍;W·德哈恩
• 申請(qǐng)（專利權(quán)）人: 皇家飛利浦有限公司
• 主分類號(hào): H04N13/275
• 分類號(hào): H04N13/275
• 代理公司: 永新專利商標(biāo)代理有限公司 72002
• 代理人: 李光穎

一種用于生成圖像的裝置，包括：接收器(101)，其接收提供場(chǎng)景的不完整表示的3D圖像數(shù)據(jù)。視圖向量源(103)提供指示針對(duì)圖像的繪制視點(diǎn)的繪制視圖向量。繪制器(105)基于來自3D圖像數(shù)據(jù)的圖像數(shù)據(jù)來針對(duì)繪制視圖向量繪制中間圖像的第一區(qū)域。外推器(107)將3D圖像數(shù)據(jù)外推到中間圖像的第二相鄰區(qū)域中，在其中3D圖像數(shù)據(jù)不包括針對(duì)第二區(qū)域的圖像數(shù)據(jù)。模糊處理器(109)響應(yīng)于將空間變化的模糊應(yīng)用于中間圖像而生成圖像，其中，模糊程度在第一區(qū)域與第二區(qū)域之間的過渡區(qū)域中高于第一區(qū)域的內(nèi)部區(qū)。

技術(shù)領(lǐng)域

本發(fā)明涉及一種用于根據(jù)提供場(chǎng)景的不完整表示的3D圖像數(shù)據(jù)生成圖像的裝置和方法，并且具體地但不排他地涉及生成用于虛擬現(xiàn)實(shí)應(yīng)用的圖像。

背景技術(shù)

傳統(tǒng)上，對(duì)圖像的技術(shù)處理和使用一直基于二維成像，但是在圖像處理中越來越多地明確考慮三維。

例如，已經(jīng)開發(fā)了三維(3D)顯示器，其通過為查看者的兩只眼睛提供正在觀看的場(chǎng)景的不同視圖而增加了查看體驗(yàn)的三維感。這能夠通過讓用戶佩戴眼鏡來分開所顯示的兩幅視圖來實(shí)現(xiàn)。然而，由于這可能對(duì)于用戶而言非常不便，因此，在許多場(chǎng)景中，優(yōu)選使用自動(dòng)立體顯示器，所述自動(dòng)立體顯示器使用顯示器處的單元(諸如雙凸透鏡或屏障)來分離視圖，并且以其可以個(gè)體地到達(dá)用戶眼睛的不同方向?qū)ζ溥M(jìn)行發(fā)送。對(duì)于立體顯示器，需要兩幅視圖，而自動(dòng)立體顯示器通常需要更多幅視圖(例如，九幅視圖)。

在許多實(shí)施例中，可能希望生成針對(duì)新的查看方向的視圖圖像。盡管已知用于基于圖像和深度信息來生成這樣的新視圖圖像的各種算法，但是其往往高度依賴于所提供(或?qū)С龅?深度信息的準(zhǔn)確性。

實(shí)際上，三維圖像信息常常由與場(chǎng)景的不同查看方向相對(duì)應(yīng)的多幅圖像來提供。具體地，越來越多地生成視頻內(nèi)容(諸如電影或電視節(jié)目)以包括一些3D信息。能夠使用專用3D相機(jī)來捕獲這樣的信息，所述3D相機(jī)從稍微偏移的相機(jī)位置捕獲兩幅同時(shí)的圖像。

然而，在許多應(yīng)用中，所提供的圖像可能不直接對(duì)應(yīng)于期望的方向，或者可能需要更多的圖像。例如，對(duì)于自動(dòng)立體顯示器，需要多于兩幅圖像，并且實(shí)際上常常使用9–26幅視圖圖像。

為了生成與不同查看方向相對(duì)應(yīng)的圖像，可以采用視點(diǎn)移位處理。這通常由視圖移位算法來執(zhí)行，視圖移位算法使用針對(duì)單個(gè)查看方向的圖像以及相關(guān)聯(lián)的深度信息。

基于三維圖像處理的應(yīng)用的特定示例是虛擬現(xiàn)實(shí)應(yīng)用。在典型的虛擬現(xiàn)實(shí)體驗(yàn)中，例如，可以針對(duì)例如虛擬現(xiàn)實(shí)頭盔連續(xù)地生成右眼視圖圖像和左眼視圖圖像，以匹配用戶的移動(dòng)和取向變化。動(dòng)態(tài)虛擬現(xiàn)實(shí)視圖的這樣的生成通常基于對(duì)表示與虛擬現(xiàn)實(shí)環(huán)境相對(duì)應(yīng)的給定場(chǎng)景的3D圖像數(shù)據(jù)的處理。例如，虛擬現(xiàn)實(shí)服務(wù)器可以基于三維模型或三維圖像來生成針對(duì)特定視圖的視圖圖像，諸如由光強(qiáng)度圖像和深度圖或紋理圖和深度網(wǎng)格表示的圖像。

對(duì)于諸如虛擬現(xiàn)實(shí)應(yīng)用之類的應(yīng)用，圖像序列可以例如被生成以反映用戶的視圖，因?yàn)橛捎谟脩粼谔摂M環(huán)境中虛擬地移動(dòng)或改變查看方向/取向，這些視圖會(huì)改變。在一些應(yīng)用中，可以生成圖像以反映查看者取向的變化，但是不支持該區(qū)中的移動(dòng)。反映這樣的場(chǎng)景的視頻常常被稱為全向視頻。在其他應(yīng)用中，還可以支持移動(dòng)的查看位置，以反映用戶在虛擬現(xiàn)實(shí)環(huán)境中的虛擬移動(dòng)。反映這樣的場(chǎng)景的視頻常常被稱為沉浸式視頻。用戶的當(dāng)前視圖可以由視圖向量表示，該視圖向量描述了針對(duì)視點(diǎn)的相關(guān)位置和方向參數(shù)。

對(duì)于全向視頻，通常通過提供偏航、俯仰和滾動(dòng)值，視圖向量通常描述根據(jù)三個(gè)自由度(3DoF)的取向。

對(duì)于沉浸式視頻，通常通過提供偏航、俯仰、滾動(dòng)以及針對(duì)三個(gè)空間維度的值，向量通常描述根據(jù)六個(gè)自由度(6DoF)的取向和位置。