[發明專利]生成圖像信號的裝置和方法

在審

• 申請號: 202080032413.1
• 申請日: 2020-02-29
• 公開（公告）號: CN113767423A
• 公開（公告）日: 2021-12-07
• 發明（設計）人: B·克龍
• 申請（專利權）人: 皇家飛利浦有限公司
• 主分類號: G06T15/20
• 分類號: G06T15/20;G06T17/00;H04N19/597;H04N19/88
• 代理公司: 永新專利商標代理有限公司 72002
• 代理人: 劉兆君

圖像源(407)提供被劃分成不同大小的片段的圖像，其中，僅這些片段的子組包括圖像數據。元數據生成器(409)生成根據樹狀數據結構而結構化的元數據，其中，每個節點被鏈接到所述圖像的片段。每個節點是分支節點或葉節點，所述分支節點將父節點鏈接到子節點，所述子節點被鏈接到作為所述父節點的細分的片段，所述葉節點沒有子節點。葉節點要么是被鏈接到其中所述第一圖像不包括圖像數據的片段的不使用的葉節點，要么是被鏈接到其中所述第一圖像包括圖像數據的片段的使用的葉節點。所述元數據指示每個節點是分支節點、使用的葉節點還是不使用的葉節點。圖像信號生成器(405)生成圖像信號，所述圖像信號包括所述第一圖像的所述圖像數據以及所述元數據。

技術領域

本發明涉及用于生成圖像信號的裝置和方法，并且特別地但非排他性地涉及生成和/或處理包括針對同一場景的多幅圖像的圖像信號。

背景技術

近年來，隨著不斷開發和引入新的利用和消費視頻的服務和方式，圖像和視頻應用的種類和范圍大大增加了。

例如，一種越來越流行的服務是以這樣的方式提供圖像序列的：即，觀看者能夠與系統主動且動態地交互以改變繪制的參數。在許多應用中，一個非常有吸引力的特征是能夠改變觀看者的有效的觀看位置和觀看方向，例如允許觀看者在所呈現的場景中移動和“環顧四周”。

這樣的特征能夠特別允許向用戶提供虛擬現實體驗。這可以允許用戶例如在虛擬環境中(相對)自由地移動并且動態地改變他的位置以及他正在觀看的地方。通常，這樣的虛擬現實應用基于場景的三維模型，其中，該模型正被動態地評價以提供特定請求的視圖。從例如用于計算機和控制臺的游戲應用中(例如在第一人稱射擊者類型中)，這種方法是眾所周知的。

特別是對于虛擬現實應用來說，還期望所呈現的圖像是三維圖像。實際上，為了優化觀看者的沉浸感，通常優選使患者體驗的呈現場景為三維場景。實際上，虛擬現實體驗應當優選允許用戶選擇他/她自己的位置、相機視點和相對于虛擬世界的時刻。

大量虛擬現實應用的固有限制在于它們基于存在的場景的預定模型，并且通常基于(例如用于游戲應用的)虛擬世界的人工模型。

然而，期望能夠提供允許用戶能夠體驗現實世界捕獲的虛擬現實體驗。這樣的應用包括例如允許用戶自由地改變在現實世界場景的表示中的位置和觀看方向的應用。然而，在許多情況下，很難滿足為了支持這樣的自由度的要求，例如，特別是在現實世界場景(特別是實時場景)也在動態變化的情況下。例如，提供足夠的數據以允許用戶自由地移動和改變針對對應于例如體育賽事的實況、實時播送的場景的觀看方向通常是不切實際的或者不可行的。因此，在用戶在移動和/或觀看方向上具有受限的自由度的應用和體驗受到越來越多的關注。例如，可以播送體育賽事，其中，用戶可以在180°的范圍內自由地旋轉他的頭部，但是只能將他的頭部移動相對較小的量。這樣的受限的移動會大大減小需要提供的數據的要求。

對于允許針對場景的不同視點的本地圖像繪制的大多數應用來說，關鍵問題是如何表示這樣的場景并且特別是如何有效地生成、分布和處理表示現實世界場景的數據，使得終端用戶設備被提供有足夠的數據以本地生成現實世界(并且常常是實時)場景的觀看圖像。生成現實世界場景的模型通常是不可行的或者不切實際的，并且特別是不是在服務支持正在動態變化的場景(例如，實時事件)時的情況。

在許多系統中，場景可以由已經由合適的捕獲裝置(例如，相機)捕獲的圖像來表示。例如，相機可以以給定的配置(例如以行)來布置，其中，每個相機從給定的捕獲姿態來捕獲場景。來自不同位置的圖像可以提供場景的不同部分的表示。例如，背景目標可以被來自一些捕獲位置的前景目標所遮擋，但不被來自其他捕獲位置的前景目標所遮擋，因此與該背景目標有關的信息可以存在于一些捕獲圖像中但不存在于其他捕獲圖像中。