[發(fā)明專利]圖像合成系統(tǒng)及其方法

在審

• 申請?zhí)枺?/td>: 202080091905.8
• 申請日: 2020-10-23
• 公開（公告）號: CN114930404A
• 公開（公告）日: 2022-08-19
• 發(fā)明（設(shè)計）人: C·韋雷坎普;B·W·D·范格斯特
• 申請（專利權(quán)）人: 皇家飛利浦有限公司
• 主分類號: G06T19/20
• 分類號: G06T19/20
• 代理公司: 永新專利商標(biāo)代理有限公司 72002
• 代理人: 劉兆君

一種圖像合成系統(tǒng)，包括：接收器(201、203、205)，其接收描述場景的至少部分的場景數(shù)據(jù)；描述來自觀看區(qū)的3D對象的對象數(shù)據(jù)，所述3D對象具有關(guān)于所述對象的相對姿態(tài)，以及所述場景中的觀看姿態(tài)。姿態(tài)確定器電路(207)響應(yīng)于所述場景數(shù)據(jù)和所述觀看姿態(tài)來確定針對所述場景中的所述對象的對象姿態(tài)；并且視圖合成電路(209)根據(jù)所述對象數(shù)據(jù)、所述對象姿態(tài)和所述觀看姿態(tài)來生成所述對象的視圖圖像。電路(211)確定所述場景中的觀看區(qū)域，所述觀看區(qū)域?qū)?yīng)于處于所述對象姿態(tài)的所述對象的所述觀看區(qū)。所述姿態(tài)確定器電路(207)確定所述觀看姿態(tài)相對所述于觀看區(qū)域的距離量度，并且如果所述距離量度滿足包括觀看姿態(tài)與觀看區(qū)域的姿態(tài)之間的距離超過閾值的要求的準(zhǔn)則，則改變所述對象姿態(tài)。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像合成系統(tǒng)，具體但不排他地，涉及支持用于混合、增強(qiáng)或虛擬現(xiàn)實應(yīng)用的視圖合成的圖像合成裝置。

背景技術(shù)

近年來，隨著不斷開發(fā)和引入新的服務(wù)以及利用和使用視頻的方式，圖像和視頻應(yīng)用的種類和范圍已大大增加。

例如，一種越來越流行的服務(wù)是以如下的方式提供圖像序列：使得觀看者能夠主動和動態(tài)地與系統(tǒng)交互以改變渲染的參數(shù)。在許多應(yīng)用中，一個非常吸引人的功能是能夠更改觀看者的有效觀看位置和觀看方向的能力，例如允許觀看者在呈現(xiàn)的場景中移動并“環(huán)顧四周”。

這樣的特征可以具體地允許將虛擬現(xiàn)實體驗提供給用戶。這可以允許用戶在虛擬環(huán)境中例如(相對)自由地移動，并動態(tài)地改變其位置和他所看的位置。通常，這樣的虛擬現(xiàn)實(VR)應(yīng)用基于場景的三維模型，其中該模型被動態(tài)評估以提供特定的請求視圖。針對計算機(jī)和控制臺，根據(jù)例如第一人稱射擊游戲類別的游戲應(yīng)用中，這種方法是眾所周知的。

另一個示例是增強(qiáng)現(xiàn)實(AR)或混合現(xiàn)實(MR)應(yīng)用，其中虛擬生成的內(nèi)容與本地環(huán)境的感知相混合。例如，用戶可以佩戴允許他直接看到他的周圍環(huán)境的眼鏡或頭戴設(shè)備，同時還包括允許顯示虛擬內(nèi)容以使其可以被用戶感知的顯示器。虛擬內(nèi)容可以適應(yīng)現(xiàn)實世界的視圖。例如，MR系統(tǒng)可以允許用戶看到本地環(huán)境，其中出現(xiàn)了額外的例如在場景中存在的虛擬對象。

類似地，在VR體驗中，可以與描述虛擬場景的模型分開提供諸如虛擬對象的額外內(nèi)容，并且VR系統(tǒng)可以將這些對象與場景的渲染一起提供給用戶，以便提供給用戶的視圖包括該對象在場景中。

在AR和MR應(yīng)用中，真實的背景可能會被計算機(jī)圖形(例如3D計算機(jī)生成的對象)疊加。在VR應(yīng)用中，虛擬背景可以例如疊加有計算機(jī)圖形，例如3D計算機(jī)生成的對象，其不是場景模型的一部分。

對象可以具體地是與觀看者的視角對齊的3D對象，并且提供給用戶的視圖圖像中的3D對象的表示可以適應(yīng)觀看者的運動，使得對像在觀看者看來在場景出現(xiàn)。例如，隨著觀看者的移動，對象的外觀會發(fā)生變化，使得其被從不同的觀看方向看到。

然而，為了能夠從不同的觀看方向生成對象的這種視圖，需要用足夠完整的數(shù)據(jù)來表示對象，以優(yōu)選地允許從相對于對象的任何視圖位置和取向生成視圖。這在某些應(yīng)用中可能是可行的，但在許多應(yīng)用中，例如當(dāng)對象是從現(xiàn)實世界捕獲中生成時，表示對象的數(shù)據(jù)可能是有限的。

例如，對象可以是已經(jīng)被布置為具有給定相機(jī)間距離的線的多個相機(jī)捕獲的真實對象。相機(jī)的數(shù)量通常相對有限，并且在實踐中經(jīng)常使用具有大約3-10個相機(jī)的相機(jī)裝置。然而，針對這樣的對象的問題是對象的捕獲通常是非常有限的，并且雖然對于例如對象前面的觀察位置可能有準(zhǔn)確的數(shù)據(jù)可用，但是對于其他觀察位置常常采集不充足的數(shù)據(jù)。例如，可能沒有捕獲任何用于查看對象后面或側(cè)面位置的數(shù)據(jù)。這可能導(dǎo)致無法合成某些位置/取向的視圖，或者至少可能導(dǎo)致圖像質(zhì)量顯著下降。