[發明專利]采用深度傳播技術的3DV系統視點間深度圖生成方法

有效

• 申請號: 201410158068.2
• 申請日: 2014-04-18
• 公開（公告）號: CN103916658A
• 公開（公告）日: 2014-07-09
• 發明（設計）人: 劉琚;曹廣昊;葛川;葛菁
• 申請（專利權）人: 山東大學
• 主分類號: H04N13/00
• 分類號: H04N13/00;H04N19/597;H04N19/583
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 李健康

技術領域

本發明涉及一種3DV（三維視頻）系統視點間深度圖生成方法，屬于視頻編解碼、多媒體信號處理技術領域。

背景技術

如今，3D視頻在電影行業和消費電子行業有著越來越廣泛的應用。得益于3D顯示技術的發展，多視點顯示技術也逐漸發展并且提高了用戶的視覺體驗。然而，多視點顯示帶來的數據量的增加使三維視頻（3DV）系統中多視點視頻數據的壓縮、存儲和傳輸面臨一個挑戰。

3DV系統中普遍采用的數據格式是多視點視頻加深度（MVD）格式，它包括了多視點的紋理視圖和相對應的深度視圖。這種基于深度的數據格式包含深度信息作為輸入信息的一部分，利用DIBR技術來產生中間視圖，能夠更好的解決空洞問題并且能夠提供更好的立體兼容性。然而，MVD帶來的數據量增大問題使MVD數據格式的有效壓縮變得非常重要。

近年來，對3DV系統的多視點數據的壓縮技術現在正在進行緊張的研究中，相關的編碼技術的標準化也在被評估中。以今年來不斷進行標準化的3D-HEVC標準提案為例，紋理視圖獨立于深度視圖進行編碼以用來支持立體兼容性。其中對深度圖采用了視頻編碼中用到的視點內預測、運動補償預測，視差補償預測，變換域編碼等方法，在此基礎上也進行了一些修改。然而，深度視圖無論采用現有的何種方法進行編碼，都需要在發送端對每一個視點的深度圖進行編碼，占用發送端的編碼資源。另外，現有的深度編碼方式都會產生需要傳輸的編碼信息，占用傳輸帶寬。比如，視點內預測、運動補償預測、視差補償預測、變換域編碼方式會產生運動向量、視差向量和殘差等信息。利用深度建模編碼，需要傳輸模式等信息。這些信息都需要在編碼端通過計算產生并且占用傳輸帶寬。

深度傳播源于2D轉3D技術中的深度估計。2D轉3D根據人工參與的多少可以被分為3類：手動，全自動和半自動2D轉3D。其中，半自動的方法因為利用較少的人工參與獲得好的深度圖獲得了大家的青睞，在這種系統中用戶參與和3D轉換效果得到了平衡。在半自動的2D到3D的轉換中，利用已有的深度信息來生成整個視頻序列的深度圖的方法被稱為深度傳播。深度傳播的方法是指事先獲得關鍵幀的深度圖，然后利用關鍵幀和非關鍵幀的相關性來計算出非關鍵幀的深度圖。同樣是利用兩幅圖像的相關性，根據視點間的相關性也可以利用深度傳播技術獲得視點的深度圖。

發明內容

本發明針對當前3DV系統傳播深度數據冗余大，占用編碼資源等缺點，提出了一種利用視點間深度傳播技術的視點間深度圖生成的方法，用于系統解碼端。本發明使現有的3DV系統僅僅需要編碼并傳輸紋理圖和兩個視點的深度圖，就能夠在解碼端獲得與采用常用深度圖編碼方法質量相當的多視點的深度數據，節省了傳輸帶寬和發送端的編碼資源。

本發明根據雙向的視點間深度傳播原理，將3DV系統視點間深度圖的生成方法分解為基于自適應可重疊塊的視差補償和建立并求解優化方程對未視差補償的像素點進行深度分配兩個部分。本發明采用的技術方案為：

一種3DV系統視點間深度圖生成方法，利用深度傳播，由一部分視點的深度圖獲得另一部分視點的深度圖，其特征在于：在系統編碼端不需要對每一個視點的紋理圖和深度圖均進行編碼并發送，而是僅需要編碼并傳輸紋理圖和兩個視點的深度圖，在系統解碼端根據視點間的相關性，獲得其它視點的深度圖，具體步驟如下：

（1）自適應可重疊塊的視差補償：取3DV系統MVD格式多視點數據中的2個視點作為關鍵視點，則其他視點為非關鍵視點，利用非關鍵視點的紋理圖對2個關鍵視點的紋理圖進行雙向可重疊塊視差估計，然后，根據視差向量對非關鍵視點的代表像素進行自適應可重疊塊的視差補償，自適應是指對估計出的視差向量按照估計準確程度分為3級，從1到3級估計準確程度越來越小，把前兩級視差補償的像素點作為代表像素并進行不同方式的視差補償，第1級直接進行視差補償，第2級根據權值矩陣進行可重疊塊的視差補償，第3級不進行視差補償；

（2）建立并求解優化方程對未視差補償的像素點進行深度分配：對于剩余的未進行視差補償的像素，根據亮度深度一致性原理建立有約束的優化方程，優化問題被建模為當前像素與鄰域窗口像素的加權深度值差異最小化問題，約束條件為非關鍵視點已經進行了視差補償的代表像素的深度值，求解后求得未視差補償的像素點的深度值，即獲得整個深度圖的深度值。

優選地，通過絕對誤差和SAD值計算估計出的視差向量的估計準確程度。

優選地，進行雙向視差估計時，根據絕對誤差和SAD選擇前向和后向視差向量。