[發明專利]基于正交立體裝置的實時立體匹配故障預測與解決方法

在審

• 申請號: 201810045950.4
• 申請日: 2018-01-17
• 公開（公告）號: CN108257170A
• 公開（公告）日: 2018-07-06
• 發明（設計）人: 王國強;張斌;騫志彥;周琪琦
• 申請（專利權）人: 視緣(上海)智能科技有限公司
• 主分類號: G06T7/593
• 分類號: G06T7/593;G06T7/35;G06T7/30
• 代理公司: 上海驍象知識產權代理有限公司 31315
• 代理人: 趙俊寅

1.一種基于正交立體裝置的實時立體匹配故障預測與解決方法，其特征在于，包括以下步驟：

S1、正交攝像裝置；

S2、現場可編程門陣列；

S3、半全局匹配算法；

S4、高斯模糊核；

通過正交攝像裝置的四圖像傳感器的低電壓差分信號接口連接到單個現場可編程邏輯序列，FPGA再同步四個獨立的數據流對圖像進行偏差操作，用半全局匹配算法對圖像傳感器掃描線和連續計算新線路的深度圖進行緩沖，在多個方向上進行優化，最后使用紋理紅指示器和立體匹配算法來避免弱紋理區域的故障發生。

2.如權利要求1所述的基于正交立體裝置的實時立體匹配故障預測與解決方法，其特征在于，S1、正交攝像裝置，包括如下步驟：

S11、將帶有兩個正交極線的傳感器攝像頭固定在穩定的平臺上，由不同角度同時獲得兩幅數字圖像，在左右兩個攝像機像面上都存在該點的響應點，可獲得三維空間中某點的三維坐標；

S12、在兩個硬件上直接計算和運行半全局立體匹配算法，并通過接口同步輸出，四個攝像機都使用內聯函數進行校正；

S13、使用二維標記初始校準運行過程中獲得的非本征數據，多攝像機立體裝置用每個立體對的匹配分數的加權平均來融合深度圖；

匹配函數根據故障評分在正常操作中選擇一個源圖像為每個像素i,j在正常運作，然而，如果深度圖都在彼此的10％范圍內，使用它的匹配分數m_i,j計算它們的加權平均值來融合這些像素，這為深度估計提供了一個穩固的交叉檢查，還允許接受不具有由SGM分配的高分數的像素；

S14、使用另外的兩個攝像機，提高單基線立體匹配系統的精確度和召回率，在同樣的硬件上執行所有的計算，只增加成本和重量兩個模型，在標準的立體磁頭上加一個低成本的圖像傳感器，避開錯誤測量并且在圖像中的立體相關置信度低的地區增加召回率，獲得可靠的測量結果。

3.如權利要求1所述的基于正交立體裝置的實時立體匹配故障預測與解決方法，其特征在于，S2、現場可編程門陣列，包括如下步驟：

S21、現場可編程門陣列中用半全局匹配算法，通過在多個方向上優化得到的深度圖，利用聯合的價值函數來融合深度圖，提高了塊匹配，其中一條路徑要平行于對極線方向；

S22、如果滿足基本約束，即如果有一個紋理沿著對極線是重復的，它滿足紋理和匹配分數標準，有足夠的特性導致立體匹配相關故障，就要使用運動域的結構中來處理，并在照片左右一致性檢查中隱式解決；

S23、系統給每個深度圖都計算一個預測圖像，創建最終深度圖和最終匹配分數圖，每個像素位置的最終匹配分數圖c_i,j是半匹配全局算法的圖像a或b的匹配分數m_i,j的加權平均值，從具有較低的故障評分f_i,j的圖像中進行選擇，該加權平均值是一個聯合的價值函數：

c_i,j＝m_i,j+s·f_i,j (1)

其從半匹配全局算法的匹配分數和故障預測提供一個穩定的權衡，用該值固定的參數執行的所有實驗，得到的圖像明亮的區域表示立體相關的可能出現故障的區域。

4.如權利要求3所述的基于正交立體裝置的實時立體匹配故障預測與解決方法，其特征在于，S23中，s＝2。

5.如權利要求1所述的基于正交立體裝置的實時立體匹配故障預測與解決方法，其特征在于，S3、半全局匹配算法，包括如下步驟：

S31、使用SGM提供的匹配分數來確定極線幾何的可能錯誤，當它遇到與極線平行的線時，匹配分數會達到峰值，比較線路之間的匹配分數，以確定估計可能出現故障的區域；

S32、使用SGM算法對圖像的灰度值進行運算，不在圖像的大梯度上傳播視差值，利用其平滑步驟的這個特殊屬性來檢測故障。

6.如權利要求1所述的基于正交立體裝置的實時立體匹配故障預測與解決方法，其特征在于，S4、高斯模糊核，包括如下步驟：

S41、使用S3中SGM匹配分數作為預測因子；

S42、當輸入深度圖被中值濾波時，采用一個3δ的13×13高斯模糊核來調整匹配分數圖像的尺度空間，預測下一步最可能的故障位置；

S43、利用前面討論的半全局算法屬性，通過找到這些分數差的梯度大小，預測平行于極線的線結構；

S44、將積分圖像與一維在垂直方向上的Sobel核與具有7個像素區域和0.3δ的高斯的外極線做卷積，匹配分數沿外極線的變化作為對錯誤測量的可靠預測值。