[發明專利]一種基于圖像匹配的高分辨率深度圖實時提取裝置及方法

無效

• 申請號: 201310093104.7
• 申請日: 2013-03-22
• 公開（公告）號: CN103167306A
• 公開（公告）日: 2013-06-19
• 發明（設計）人: 王建偉;滕國偉;魯超;鄒雪妹;李火生;成益龍;路龍龍;崔大海
• 申請（專利權）人: 上海大學
• 主分類號: H04N13/00
• 分類號: H04N13/00;H04N13/02
• 代理公司: 上海上大專利事務所(普通合伙) 31205
• 代理人: 何文欣

1.一種基于圖像匹配的高分辨率深度圖實時提取裝置，包括雙目SDI攝像機（1）和FPGA開發板（2），其特征在于所述的雙目SDI攝像機（1）單向連接FPGA開發板（2），所述FPGA開發板（2）單向連接一個3DTV編碼服務器（3）；利用雙目SDI攝像機（1）獲取圖像，在FPGA開發板（2）上實現深度實時提取，獲取深度圖通實時傳輸至3DTV編碼服務器（3）。

2.根據權利要求1所述的一種基于圖像匹配的高分辨率深度圖實時提取裝置，其特征在于所述雙目SDI攝像機（1）采用Panasonic?AG-3DA1MC雙目高清攝像機。該攝像機可通過SDI輸出高清視頻，兩路視頻經過了圖像校正，可直接進行立體匹配。

3.根據權利要求1所述的一種基于圖像匹配的高分辨率深度圖實時提取裝置，其特征在于所述FPGA開發板（2）上采用EP2AGX260?FPGA芯片（4），芯片（4）雙向連接1GB?DDR2?SODIMM（5）作為數據緩存模塊。FPGA開發板（2）前端設計兩路SDI接收模塊，LMH0344均衡器對SDI信號進行DC恢復，LMH0341解串器自動檢測輸入數據速率并提取時鐘；FPGA開發板（2）后端通過PCIE接口（6），以全雙工方式將深度圖輸出至3DTV編碼服務器（3）。

4.?一種基于圖像匹配的高分辨率深度圖實時提取方法，采用權利要求1所述的一種基于圖像匹配的高分辨率深度圖實時提取裝置進行深度圖的實時提取，其特征在于通過在FPGA芯片（4）內設計數字電路實現，操作步驟如下：

Ⅰ.SDI解析（7）：將解串之后的兩路同步SDI視頻輸入解析為視頻數據信號；?

Ⅱ.匹配代價估計（8）：以數字電路方式實現匹配代價函數的構建和匹配代價的估計；

Ⅲ.WTA最優選擇-生成深度圖（9）：以數字電路方式在視差范圍內對最優匹配進行選擇。

5.根據權利要求4所述的一種基于圖像匹配的高分辨率深度圖實時提取方法，其特征在于所述步驟ⅠSDI解析（7）是：通過FPGA編程，配合SDI?Receiver（protocol）MegaCore從雙路同步SDI視頻解析出視頻數據信號，并提取出水平同步標識信號，垂直同步標識信號，視頻有效數據標志信號，對于隔行掃描的視頻格式還將提取出場標識信號；利用這些標識信號配合FPGA芯片內部的RAM和寄存器資源將動態的同步視頻的匹配轉化為靜態的每一幀的圖像匹配。

6.根據權利要求4所述的一種基于圖像匹配的高分辨率深度圖實時提取方法，其特征在于所述步驟Ⅱ匹配代價估計（8）針對每一路視頻實現Census變換，通過例化FPGA內部資源Block?Ram作為Line?Buffer，將每一行數據進行存儲，選用15???????????????????????????????????????????????15像素大小的匹配窗口，在匹配窗口內部采用隔行稀疏十字交叉矩陣進行選值，達到匹配精度與復雜度的平衡。

7.?根據權利要求4所述的一種基于圖像匹配的高分辨率深度圖實時提取方法，其特征在于所述步驟ⅢWTA最優選擇-生成深度圖（9）是：通過Winner?Takes?All的優選方式在待匹配視圖上找出64像素視差范圍內的匹配代價最小的點，選取該點為候選點。采用分級兩兩進行比較的方法，經過6級比較則可選出匹配代價最小的點，同時標記匹配代價次小點的匹配代價值。