[發明專利]一種基于圖像匹配的高分辨率深度圖實時提取裝置及方法

無效

• 申請號: 201310093104.7
• 申請日: 2013-03-22
• 公開（公告）號: CN103167306A
• 公開（公告）日: 2013-06-19
• 發明（設計）人: 王建偉;滕國偉;魯超;鄒雪妹;李火生;成益龍;路龍龍;崔大海
• 申請（專利權）人: 上海大學
• 主分類號: H04N13/00
• 分類號: H04N13/00;H04N13/02
• 代理公司: 上海上大專利事務所(普通合伙) 31205
• 代理人: 何文欣

技術領域

本發明涉及3DTV領域，基于圖像匹配原理，應用于3DTV前端雙視或多視視頻的快速深度提取，即基于圖像匹配的高分辨率深度圖實時提取裝置及方法。

背景技術

雙視或多視點視頻3DTV實時顯示系統，包含了前端視頻采集，編碼傳送，解碼顯示等部分。多視點視頻的數據量遠比單視數據量要大。例如多視點是9個視點，如果9個視點采用基于H.264聯播方式編碼就是原來數據量的9倍。鑒于此，在2009年JVT和MPEG的推出了MVD（多視+深度）數據模式。在該模式中，對傳輸的視頻端除了原來視點的紋理彩色視頻外，對于每個視點都附加一個與之相應的深度圖視頻。提出深度圖的概念有2個最直觀的好處：

（a）:?深度圖較平坦，對編碼來說效率極高，即使采用H.264的編碼方式其編碼比特率也僅是彩色視頻編碼比特率的20-30%。

（b）:?通過提取具有場景幾何信息的深度，可繪制出高質量的虛擬視。

綜上所述，快速準確地提取深度圖是實時3DTV系統的關鍵，也是MVD模式的核心，因此諸多學者對此從未停止探索的腳步。

發明內容

本發明目的在于提供一種基于圖像匹配的高分辨率深度圖實時提取裝置及方法，以滿足3DTV前端深度提取效率低下不能滿足實時應用的現狀。利用圖像匹配的原理以及FPGA平臺并行結構，在單片FPGA上編程和實現，可以較高質量地進行深度的實時提取。

為達到上述目的，本發明的構思是：

Ⅰ.將雙路同步SDI輸入視頻解析為視頻數據信號，同時提取水平同步標識信號、垂直同步標識信號、視頻有效數據標志信號，對于隔行掃描的視頻格式還將提取出幀數標識信號；?

Ⅱ.利用基于非參數化區域變換的匹配算法對兩路視頻進行立體匹配，對于已解析的視頻數據，通過識別水平同步標識信號、垂直同步標識信號、視頻有效數據標志信號和幀數標識信號，準確地判斷出完整的一場、一行有效數據開始的位置，再配合FPGA內部Block?Ram和寄存器資源，有效地將動態的視頻匹配轉化為靜態的圖像匹配；

Ⅲ.利用Winner?Takes?All優選策略進行視差候選值選定，采用6級兩兩比較的方法找出視差范圍內匹配代價最小像素點的位置，該位置所對應的深度即為參考點深度值；

將所得深度圖進行DDR2緩存，再通過PCIE接口輸出至繪制服務器；

本發明將以上所述的SDI解析、Census區域變換實現、匹配代價計算、匹配代價最優選擇和DDR2緩存控制等均在單片FPGA芯片中完成，攜帶安裝方便，且功能更新、升級方便。在上述模塊實現過程中采用Verilog?HDL編程，對各個模塊采用流水線設計，并對代碼優化布局布線，添加合理的時序約束，對Block?Ram采用下降沿讀取的方式，可避免多數亞穩態，在高分辨率視頻數據的時鐘下高速穩定地進行深度提取。

根據上述發明構思，本發明采用下述技術方案：

一種基于圖像匹配的高分辨率深度圖實時提取裝置，包括雙目SDI攝像機和FPGA開發板，雙目SDI攝像機通過兩路BNC接口單向連接FPGA開發板，FPGA開發板通過PCIE接口單向連接3DTV編碼服務器；利用雙目SDI攝像機獲取圖像，在FPGA開發板上實現深度圖實時提取，獲取的深度圖實時傳輸至編碼服務器。所述雙目SDI攝像機采用Panasonic?AG-3DA1MC雙目高清攝像機，攝像機可通過SDI輸出高清視頻，兩路視頻經過了圖像校正，可直接進行立體匹配。所述FPGA開發板采用EP2AGX260?FPGA芯片，芯片雙向連接1GB?DDR2?SODIMM作為數據緩存模塊，FPGA開發板前端設計兩路SDI接收模塊，LMH0344均衡器對SDI信號進行DC恢復，LMH0341解串器自動檢測輸入數據速率并提取時鐘，FPGA開發板后端通過PCIE接口以全雙工方式將深度圖輸出至3DTV編碼服務器。

一種基于圖像匹配的高分辨率深度圖實時提取方法，采用上述裝置進行深度圖的實時提取，其特征在于通過在FPGA芯片內設計數字電路實現深度圖的提取，操作步驟如下：

Ⅰ.SDI解析：將經過解串之后的兩路同步SDI視頻輸入解析為視頻數據信號；?

Ⅱ.匹配代價估計：以數字電路方式實現匹配代價函數的構建和匹配代價的估計；

Ⅲ.WTA最優選擇-生成深度圖：以數字電路方式在視差范圍內對最優匹配進行選擇。