[發明專利]圖像生成裝置、圖像顯示裝置及圖像生成方法

有效

• 申請號: 201310135262.4
• 申請日: 2013-04-18
• 公開（公告）號: CN103379352A
• 公開（公告）日: 2013-10-30
• 發明（設計）人: 吳荻;坂本道昭
• 申請（專利權）人: NLT科技股份有限公司
• 主分類號: H04N13/00
• 分類號: H04N13/00;H04N13/04
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 關兆輝;謝麗娜

技術領域

本發明涉及一種圖像生成裝置、圖像顯示裝置、圖像生成方法以及存儲圖像生成程序的非瞬時計算機可讀介質。特別地，本發明涉及一種圖像生成裝置、圖像顯示裝置、圖像生成方法和存儲圖像生成程序的非瞬時計算機可讀介質，每個均被提供用于基于二維圖像的信號和差異圖像的信號生成或顯示立體圖像。

背景技術

近來，對應于3D圖像顯示裝置的技術發展，創建3D顯示內容的技術吸引著越來越多的注意力。當3D圖像顯示裝置通過傳輸線路接收圖像信號并執行3D顯示時，需要將對應于每個視點的圖像信號傳送至該裝置。特別地，對于圖像顯示終端而言，多視點立體圖像需要數倍于正常二維圖像的數據。因此，減少所要傳送的圖像數據量是創建3D顯示內容的領域中的研究課題之一。

基于以上背景，正在研究使用用于實現3D顯示的二維圖像中的一個的信號以及表示該二維圖像的每個像素的三維對象深度信息的深度圖像的信號來生成該二維圖像中的其它二維圖像的技術。其它二維圖像通過使用虛擬相機的參數的圖像處理技術生成。因此，此后它將被稱作虛擬視點圖像。使用該方法以經由圖像轉換處理而通過使用二維圖像的信號和對應于該二維圖像的深度圖像的信號來生成虛擬視點圖像，已經允許圖像顯示終端基于減少的傳送圖像數據量來執行3D顯示。

然而，深度圖像并不容易制備，因為它非常準確以便精確反應二維圖像的信號的每個像素的深度信息。當通過使用實際的立體相機捕捉深度圖像時，深度圖像的分辨率受到立體相機固有屬性的局限而低于二維圖像的信號的分辨率。例如，由Mesa?Imaging?AG研發的TOF（Time?of?Flight：飛行時間）相機（Swiss?Ranger?SR3100，其中“Swiss?Ranger”為商標）所捕捉的深度圖像具有176×144像素的分辨率，其與二維圖像的信號分辨率相差很遠。另外，許多3D-CG工具為了提高其呈現速度而犧牲了深度圖像的分辨率。在從對應于各個視點的多個二維圖像的信號估算深度圖像的情形中，給定深度圖像信號由于二維圖像之間誤導相對應像素的影響而變得較不準確。深度圖像信號下降的準確性產生了所生成的虛擬視點圖像中的噪聲不突顯并且圖像質量下降的問題。

為了解決這樣的圖像質量下降的問題，例如，日本未審專利申請公開（JP-A）No.2001-175863公開了以下裝置：該裝置包括距離信息檢測部，其從多個圖像的信息檢測距離信息；平滑部，其利用加權處理平滑所檢測的距離信息以使得由基于該距離信息給出的曲面所定義的加權函數最小化；加權信息檢測部，其通過使用表示所檢測距離信息的值的似然性的指標來檢測在平滑處理中執行加權所需的加權信息；和圖像表示和內插部，其基于平滑距離信息對所輸入視點圖像的每個像素進行位移并且在任意視點獲得內插圖像。

另外，JP-A?No.2005-2288134公開了一種從三位圖像數據的平面圖像信息和二維圖像數據的平面圖像信息兩者提取相對應特征點的方法，以通過基于所提取特征點的對應性修改多個特征點所封閉的閉合幾何圖形而對三維圖像數據中的對象移位進行校正，并且通過使用校正三維圖像數據的深度信息和二維圖像數據的平面圖像信息生成虛擬視點圖像數據。

另外，Ilsoon?Lim、Hocheon?Wey、Dusik?Park的“Depth?Super-resolution?for?Enhanced?Free-viewpoint?TV”，SID?Symposium?Digest?of?Technical?Paper，2010年5月，第41卷第1期，第1268-1271頁公開了通過使用深度圖像信號的輪廓線信息將低分辨率深度圖像信號轉換為高分辨率圖像信號的方法。

如以上所描述的，當通過使用用于實現3D顯示的二維圖像中的一個的信號和表示與該二維圖像的信號對應的對象的每個像素的深度信息的深度圖像信號生成虛擬視點圖像時，深度圖像信號的準確度下降使得所生成的虛擬視點圖像的噪聲部不突顯，這使得圖像質量下降。

為了解決該問題，JP-A?No.2001-175863提出了通過使用加權處理和平滑處理來減少已經根據多個二維圖像的信號生成的深度圖像信號中的誤差以提升內插視點處圖像的下降的圖像質量。然而，該方法難以完全校正深度圖像信號中的誤差。特別地，在通過平滑處理所校正的深度圖像的信號中，每個對象的輪廓線的外圍區域被模糊而并未清楚表示對象之間的深度差異。因此，在基于該信號所生成的虛擬視點圖像的信號中，對應于每個對象的輪廓區域的像素被分散，這使得輪廓區域周圍的噪聲不突顯。