[發(fā)明專利]基于正交立體裝置的實時立體匹配故障預(yù)測與解決方法

在審

• 申請?zhí)枺?/td>: 201810045950.4
• 申請日: 2018-01-17
• 公開（公告）號: CN108257170A
• 公開（公告）日: 2018-07-06
• 發(fā)明（設(shè)計）人: 王國強;張斌;騫志彥;周琪琦
• 申請（專利權(quán)）人: 視緣(上海)智能科技有限公司
• 主分類號: G06T7/593
• 分類號: G06T7/593;G06T7/35;G06T7/30
• 代理公司: 上海驍象知識產(chǎn)權(quán)代理有限公司 31315
• 代理人: 趙俊寅

1.一種基于正交立體裝置的實時立體匹配故障預(yù)測與解決方法，其特征在于，包括以下步驟：

S1、正交攝像裝置；

S2、現(xiàn)場可編程門陣列；

S3、半全局匹配算法；

S4、高斯模糊核；

通過正交攝像裝置的四圖像傳感器的低電壓差分信號接口連接到單個現(xiàn)場可編程邏輯序列，F(xiàn)PGA再同步四個獨立的數(shù)據(jù)流對圖像進(jìn)行偏差操作，用半全局匹配算法對圖像傳感器掃描線和連續(xù)計算新線路的深度圖進(jìn)行緩沖，在多個方向上進(jìn)行優(yōu)化，最后使用紋理紅指示器和立體匹配算法來避免弱紋理區(qū)域的故障發(fā)生。

2.如權(quán)利要求1所述的基于正交立體裝置的實時立體匹配故障預(yù)測與解決方法，其特征在于，S1、正交攝像裝置，包括如下步驟：

S11、將帶有兩個正交極線的傳感器攝像頭固定在穩(wěn)定的平臺上，由不同角度同時獲得兩幅數(shù)字圖像，在左右兩個攝像機(jī)像面上都存在該點的響應(yīng)點，可獲得三維空間中某點的三維坐標(biāo)；

S12、在兩個硬件上直接計算和運行半全局立體匹配算法，并通過接口同步輸出，四個攝像機(jī)都使用內(nèi)聯(lián)函數(shù)進(jìn)行校正；

S13、使用二維標(biāo)記初始校準(zhǔn)運行過程中獲得的非本征數(shù)據(jù)，多攝像機(jī)立體裝置用每個立體對的匹配分?jǐn)?shù)的加權(quán)平均來融合深度圖；

匹配函數(shù)根據(jù)故障評分在正常操作中選擇一個源圖像為每個像素i,j在正常運作，然而，如果深度圖都在彼此的10％范圍內(nèi)，使用它的匹配分?jǐn)?shù)m_i,j計算它們的加權(quán)平均值來融合這些像素，這為深度估計提供了一個穩(wěn)固的交叉檢查，還允許接受不具有由SGM分配的高分?jǐn)?shù)的像素；

S14、使用另外的兩個攝像機(jī)，提高單基線立體匹配系統(tǒng)的精確度和召回率，在同樣的硬件上執(zhí)行所有的計算，只增加成本和重量兩個模型，在標(biāo)準(zhǔn)的立體磁頭上加一個低成本的圖像傳感器，避開錯誤測量并且在圖像中的立體相關(guān)置信度低的地區(qū)增加召回率，獲得可靠的測量結(jié)果。

3.如權(quán)利要求1所述的基于正交立體裝置的實時立體匹配故障預(yù)測與解決方法，其特征在于，S2、現(xiàn)場可編程門陣列，包括如下步驟：

S21、現(xiàn)場可編程門陣列中用半全局匹配算法，通過在多個方向上優(yōu)化得到的深度圖，利用聯(lián)合的價值函數(shù)來融合深度圖，提高了塊匹配，其中一條路徑要平行于對極線方向；

S22、如果滿足基本約束，即如果有一個紋理沿著對極線是重復(fù)的，它滿足紋理和匹配分?jǐn)?shù)標(biāo)準(zhǔn)，有足夠的特性導(dǎo)致立體匹配相關(guān)故障，就要使用運動域的結(jié)構(gòu)中來處理，并在照片左右一致性檢查中隱式解決；

S23、系統(tǒng)給每個深度圖都計算一個預(yù)測圖像，創(chuàng)建最終深度圖和最終匹配分?jǐn)?shù)圖，每個像素位置的最終匹配分?jǐn)?shù)圖c_i,j是半匹配全局算法的圖像a或b的匹配分?jǐn)?shù)m_i,j的加權(quán)平均值，從具有較低的故障評分f_i,j的圖像中進(jìn)行選擇，該加權(quán)平均值是一個聯(lián)合的價值函數(shù)：

c_i,j＝m_i,j+s·f_i,j (1)

其從半匹配全局算法的匹配分?jǐn)?shù)和故障預(yù)測提供一個穩(wěn)定的權(quán)衡，用該值固定的參數(shù)執(zhí)行的所有實驗，得到的圖像明亮的區(qū)域表示立體相關(guān)的可能出現(xiàn)故障的區(qū)域。

4.如權(quán)利要求3所述的基于正交立體裝置的實時立體匹配故障預(yù)測與解決方法，其特征在于，S23中，s＝2。

5.如權(quán)利要求1所述的基于正交立體裝置的實時立體匹配故障預(yù)測與解決方法，其特征在于，S3、半全局匹配算法，包括如下步驟：

S31、使用SGM提供的匹配分?jǐn)?shù)來確定極線幾何的可能錯誤，當(dāng)它遇到與極線平行的線時，匹配分?jǐn)?shù)會達(dá)到峰值，比較線路之間的匹配分?jǐn)?shù)，以確定估計可能出現(xiàn)故障的區(qū)域；

S32、使用SGM算法對圖像的灰度值進(jìn)行運算，不在圖像的大梯度上傳播視差值，利用其平滑步驟的這個特殊屬性來檢測故障。

6.如權(quán)利要求1所述的基于正交立體裝置的實時立體匹配故障預(yù)測與解決方法，其特征在于，S4、高斯模糊核，包括如下步驟：

S41、使用S3中SGM匹配分?jǐn)?shù)作為預(yù)測因子；

S42、當(dāng)輸入深度圖被中值濾波時，采用一個3δ的13×13高斯模糊核來調(diào)整匹配分?jǐn)?shù)圖像的尺度空間，預(yù)測下一步最可能的故障位置；

S43、利用前面討論的半全局算法屬性，通過找到這些分?jǐn)?shù)差的梯度大小，預(yù)測平行于極線的線結(jié)構(gòu)；

S44、將積分圖像與一維在垂直方向上的Sobel核與具有7個像素區(qū)域和0.3δ的高斯的外極線做卷積，匹配分?jǐn)?shù)沿外極線的變化作為對錯誤測量的可靠預(yù)測值。