[發明專利]涉及深度圖轉換的編碼器、編碼方法以及三層表達式的存儲方法和格式

有效

• 申請號: 201811283562.6
• 申請日: 2018-10-31
• 公開（公告）號: CN109600600B
• 公開（公告）日: 2020-11-03
• 發明（設計）人: 李應樵;陳增源
• 申請（專利權）人: 萬維科研有限公司
• 主分類號: H04N13/271
• 分類號: H04N13/271;H04N13/161;H04N19/597
• 代理公司: 青島聯智專利商標事務所有限公司 37101
• 代理人: 邵新華;遲承柏

公開了一種深度圖轉換成三層表達式的編碼器，包括：深度圖輸入接收模塊，用于接收8位模式或者16位模式的深度圖的輸入；間隔/區間劃分模塊；直方圖創建模塊；像素數計算模塊，位于直方圖創建模塊內；最大計數間隔/區間識別模塊；以及三層表達式轉換模塊，用于將深度圖的深度值轉換成三層表達式：其中D'(x,y)是轉換后的深度值；在8位模式下執行轉換三層表達式時，上述表達式中的閾值A、B分別為51、77、102、153、179、204，在16位模式下執行轉換三層表達式時，上述表達式中的閾值A、B分別為13107、19662、26214、32768、39321、54523。由此降低了整體計算復雜性，從而提高渲染幀速率并改善用戶體驗。

技術領域

本發明涉及一種用于把自動立體(3D)顯示器的視圖合成的深度圖轉換成三層表達式的編碼器、編碼方法以及三層表達式的存儲方法。

背景技術

立體顯示器(也是三維(3D)顯示器)是能夠通過用于雙目視覺的立體視覺向觀看者傳達深度感知的顯示設備。立體顯示器的基本技術是呈現偏移圖像，其分別顯示在左眼和右眼上。然后將這兩個二維(2D)偏移圖像組合在大腦中以給出3D深度的感知。立體顯示器可以主要分為立體顯示器和自動立體顯示器。前者要求用戶佩戴一對主動式快門或被動式偏光眼鏡，而后者不要求用戶戴眼鏡。這種自動立體顯示器的輸入通常是i)傳統的2D視頻加上深度圖(2D+Z)，其描述視頻中每個像素的深度，或者是ii)相鄰視點處的一組視頻，有時稱為多視圖視頻，以特定格式復制在圖像幀上。

深度圖通常以8位(0-255)到16位(0-65536)的實數存儲。傳統的3D視圖合成可以通過像素單元卷繞算法(Warping algorithm)來執行，它以數字方式操縱圖像，以便將當前視圖映射到由提供的深度值指示的指定視圖變化。在以下文獻中公開了使用傳統卷繞算法的現有技術，[1]N.Stefanoski,D.E.Hannover,A.Smolic et.al.,“synthesizing viewsbased on image domain warping,”US2013/0057644A1,Mar.2013；[2]姚莉,許輝,“Virtual view synthesis method using contour perception,”CN 201510182858,Mar.2017；[3]Sanyo Electric Co.,Ltd.,“Methods for creating an image for athree-dimensional display,for calculating depth information,and for imageprocessing using the depth information,”US20010045979A1；[4]N.Stefanoski,O.Wang,M.Lang et.al.,“Automatic view synthesis by Image-Domain-Warping,”IEEETransactions On Image Processing,vol.22,no.9,pp.3329-3341,Sep.2013；[5]P.Kauff,N.Atzpadin,C.Fehn,et.al.,“Depth map creation and image-basedrendering for advanced 3DTV services providing interoperability andscalability,”Signal Processing:Image Communication,vol.22,no.2,pp.217-234,Feb.2007.

以[2]CN201510182858為例，先要(1)以參考視點的圖像進行網格化處理，并用輪廓感知算法找到圖像中的物體輪廓，(2)再用3DWarping算法進行圖像映射，(3)利用選擇算法找到合適映射后的圖像進行融合，(4)最后用空洞填補算法來修復融合后的虛擬視點圖像，以生成最終的虛擬視點圖像。以這種方法的一個主要限制是它非常耗時，而且最佳適用于規則物體的場景。