[發(fā)明專利]一種低資源消耗的立體匹配硬件架構(gòu)

有效

• 申請(qǐng)?zhí)枺?/td>: 201910017868.5
• 申請(qǐng)日: 2019-01-08
• 公開(kāi)（公告）號(hào): CN109739651B
• 公開(kāi)（公告）日: 2023-06-16
• 發(fā)明（設(shè)計(jì)）人: 王玨;李智偉;陳松
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)技術(shù)大學(xué)
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50
• 代理公司: 北京凱特來(lái)知識(shí)產(chǎn)權(quán)代理有限公司 11260
• 代理人: 鄭立明;鄭哲

本發(fā)明公開(kāi)了一種低資源消耗的立體匹配硬件架構(gòu)，所涉及的立體匹配的算法使用了SGM的算法，這個(gè)算法較易于硬件實(shí)現(xiàn)，且可以在精度和資源之間達(dá)到一個(gè)很好的平衡；結(jié)合本發(fā)明上述硬件架構(gòu)，不僅可以減少資源，還具備較好的精度和實(shí)時(shí)性等優(yōu)點(diǎn)。

技術(shù)領(lǐng)域

本發(fā)明涉及立體視覺(jué)技術(shù)領(lǐng)域，尤其涉及一種低資源消耗的立體匹配硬件架構(gòu)。

背景技術(shù)

立體視覺(jué)作為計(jì)算機(jī)視覺(jué)領(lǐng)域中一個(gè)重要的部分，是研究的熱點(diǎn)，并廣泛應(yīng)用于機(jī)器人導(dǎo)航、工業(yè)測(cè)量、和軍事等領(lǐng)域。雙目立體視覺(jué)是基于視差原理，采用標(biāo)準(zhǔn)的立體匹配算法來(lái)分析圖像中研究對(duì)象的深度信息，其基本原理是：首先采用在不同位置上的兩個(gè)或多個(gè)攝像機(jī)對(duì)同一個(gè)目標(biāo)進(jìn)行拍攝，從不同的視角來(lái)獲得二維圖像；空間點(diǎn)在所得到的圖像中的位置偏差根據(jù)像素匹配來(lái)計(jì)算；最后根據(jù)所得到的位置偏差利用三角測(cè)量原理來(lái)進(jìn)行三維重建。立體匹配技術(shù)就是對(duì)空間中的景物進(jìn)行不同視角的拍攝所得到的圖像，進(jìn)行計(jì)算一定的特征因素，在圖像對(duì)之間尋找像素間一一對(duì)應(yīng)的關(guān)系，獲得深度圖像。在立體視覺(jué)系統(tǒng)中，立體匹配的精度直接影響了三維重建的效果。大多數(shù)立體匹配算法主要由三個(gè)步驟組成，第一步是匹配代價(jià)的計(jì)算，找出兩幅圖像的所需特征；第二步使用基于像素的匹配代價(jià)函數(shù)，通過(guò)窗口來(lái)完成代價(jià)的聚合；第三步就是在整個(gè)圖像范圍內(nèi)根據(jù)聚合的代價(jià)選擇適當(dāng)?shù)囊暡钪怠?/p>

立體匹配算法主要可以分為三種：局部立體匹配算法，半全局立體匹配算法(SGM)和全局立體匹配算法。其中半全局立體匹配算法既用到了點(diǎn)本身及鄰域的約束信息(這是局部立體匹配算法的特點(diǎn))，體現(xiàn)在聚合不同的方向上的匹配代價(jià)；又尋找最優(yōu)路徑使全局能量函數(shù)最小(這是全局立體匹配算法的特點(diǎn))，體現(xiàn)在了使用多個(gè)一維的平滑約束來(lái)近似二維平滑約束的改進(jìn)的動(dòng)態(tài)規(guī)劃。半全局立體匹配采用動(dòng)態(tài)規(guī)劃方法實(shí)現(xiàn)，它平等的對(duì)待多個(gè)一維的路徑，然后將各個(gè)一維路徑的結(jié)果合并，并且通過(guò)對(duì)深度的不同變化加以不同懲罰來(lái)保證平滑性約束。算法對(duì)光照變化的影響不敏感，對(duì)噪聲有較強(qiáng)的魯棒性。

近年來(lái)，為了達(dá)到實(shí)時(shí)性處理的效果，雙目立體視覺(jué)系統(tǒng)廣泛采用硬件架構(gòu)。但是，其硬件實(shí)現(xiàn)在分析精度和資源占用上存在矛盾，一般情況下，復(fù)雜的高精度算法需要占用較多的硬件資源，有些實(shí)現(xiàn)效果較好的高精度算法通過(guò)硬件實(shí)現(xiàn)是不合適的。所以設(shè)計(jì)一種低資源消耗的，且具備較好精度和實(shí)時(shí)性的雙目立體匹配硬件架構(gòu)是非常重要的。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種低資源消耗的立體匹配硬件架構(gòu)，能夠以較低的資源消耗實(shí)現(xiàn)了基于SGM的雙目立體匹配算法，并達(dá)到實(shí)時(shí)性的要求。

本發(fā)明的目的是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的：

一種低資源消耗的立體匹配硬件架構(gòu)，整個(gè)架構(gòu)為四級(jí)流水線結(jié)構(gòu)，包括：

使用兩組LIFIFO模塊，每一組LIFIFO模塊包含兩個(gè)LIFIFO模塊構(gòu)成乒乓緩存結(jié)構(gòu)，兩組LIFIFO模塊分別實(shí)現(xiàn)將初始路徑代價(jià)數(shù)據(jù)以及左圖像的灰度數(shù)據(jù)從左往右輸出和從右往左的輸出至路徑代價(jià)計(jì)算單元；

路徑代價(jià)計(jì)算單元為一個(gè)四級(jí)流水線結(jié)構(gòu)，也即每四個(gè)周期完成一個(gè)像素點(diǎn)在視差搜索范圍內(nèi)所有視差下的路徑代價(jià)值計(jì)算；對(duì)于兩個(gè)豎直方向上的路徑代價(jià)值分別單獨(dú)存儲(chǔ)在一個(gè)FIFO模塊中，對(duì)于兩個(gè)方向相反的水平方向上的路徑代價(jià)值分別存儲(chǔ)在一個(gè)FIFO模塊與一個(gè)LIFO模塊中；

三個(gè)FIFO模塊與一個(gè)LIFO模塊中存儲(chǔ)的路徑代價(jià)值由路徑代價(jià)聚合單元進(jìn)行累加，得到累加后一個(gè)像素點(diǎn)每一視差下每個(gè)方向上的路徑代價(jià)值；

通過(guò)視差選擇單元根據(jù)WTA原則，兩兩比較累加后的路徑代價(jià)值，選出較小路徑代價(jià)值及對(duì)應(yīng)的視差，最終從所有路徑代價(jià)值中選出最小路徑代價(jià)值對(duì)應(yīng)的視差。

由上述本發(fā)明提供的技術(shù)方案可以看出，立體匹配的算法使用了SGM的算法，這個(gè)算法較易于硬件實(shí)現(xiàn)，且可以在精度和資源之間達(dá)到一個(gè)很好的平衡；結(jié)合本發(fā)明上述硬件架構(gòu)，不僅可以減少資源，還具備較好的精度和實(shí)時(shí)性等優(yōu)點(diǎn)。

附圖說(shuō)明