[發(fā)明專利]一種低功耗立體匹配系統(tǒng)及獲取深度信息的方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010762904.3
• 申請(qǐng)日: 2020-07-31
• 公開(kāi)（公告）號(hào): CN112070821B
• 公開(kāi)（公告）日: 2023-07-25
• 發(fā)明（設(shè)計(jì)）人: 安豐偉;付宇哲;董平成;陳卓宇;李卓奧
• 申請(qǐng)（專利權(quán)）人: 南方科技大學(xué)
• 主分類號(hào): G06T7/593
• 分類號(hào): G06T7/593;G06T7/30
• 代理公司: 深圳市君勝知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44268
• 代理人: 朱陽(yáng)波

本申請(qǐng)?zhí)峁┝艘环N低功耗立體匹配系統(tǒng)及獲取深度信息的方法，該系統(tǒng)包括依次連接的普查模塊、分區(qū)優(yōu)化模塊、多路徑代價(jià)聚合模塊以及深度計(jì)算模塊。本申請(qǐng)通過(guò)使用Census算法作為初始像素代價(jià)值計(jì)算函數(shù)，并在Census普查模塊與多路徑代價(jià)聚合模塊之間加入分區(qū)優(yōu)化模塊簡(jiǎn)化初始像素代價(jià)值，基于分區(qū)域處理以及最優(yōu)視差位置，在不影響精度的情況下減少傳入多路徑代價(jià)聚合模塊的初始像素代價(jià)值數(shù)量，進(jìn)而降低算法耗時(shí)以及資源消耗，并確保精度。

技術(shù)領(lǐng)域

本申請(qǐng)涉及立體視覺(jué)技術(shù)技術(shù)領(lǐng)域，特別涉及一種低功耗立體匹配系統(tǒng)及獲取深度信息的方法。

背景技術(shù)

在計(jì)算機(jī)視覺(jué)領(lǐng)域中立體匹配是主要研究方向，其研究從二維圖像的信息中提取并重建目標(biāo)物體的三維信息，被廣泛應(yīng)用于智能機(jī)器人系統(tǒng)，無(wú)人車系統(tǒng)，工業(yè)測(cè)量等領(lǐng)域。因此，在立體視覺(jué)系統(tǒng)中，立體匹配算法的精度及速度直接影響到三維重建的效果，其通過(guò)建立一個(gè)能量代價(jià)函數(shù)尋找像素間一一對(duì)應(yīng)的關(guān)系，通過(guò)此能量代價(jià)函數(shù)最小化來(lái)估計(jì)像素點(diǎn)視差值。然而目前立體匹配測(cè)試平臺(tái)中往往由于復(fù)雜高精度算法所需的計(jì)算量與資源消耗量較大，難以在硬件上移植。

因此，現(xiàn)有技術(shù)還有待改進(jìn)和提高。

發(fā)明內(nèi)容

基于此，有必要針對(duì)現(xiàn)有技術(shù)中立體匹配中資源開(kāi)銷大、移植難的技術(shù)問(wèn)題，提供一種低功耗立體匹配系統(tǒng)及獲取深度信息的方法。

為了解決上述技術(shù)問(wèn)題，本申請(qǐng)所采用的技術(shù)方案如下：

第一方面，本申請(qǐng)?zhí)峁┮环N低功耗立體匹配系統(tǒng)，其包括普查模塊、多路徑代價(jià)聚合模塊以及深度計(jì)算模塊，還包括：設(shè)置在所述普查模塊和所述多路徑代價(jià)聚合模塊之間的分區(qū)優(yōu)化模塊；

所述普查模塊用于輸入目標(biāo)的左圖像和右圖像，輸出目標(biāo)像素的多個(gè)初始像素代價(jià)值；所述普查模塊包括用于轉(zhuǎn)換左圖像的像素流的左普查轉(zhuǎn)碼單元、用于轉(zhuǎn)換右圖像的像素流的右普查轉(zhuǎn)碼單元以及用于確定每個(gè)目標(biāo)像素的多個(gè)初始像素代價(jià)值的漢明距離計(jì)算單元；其中，以左圖像或右圖像作為目標(biāo)圖像，所述目標(biāo)圖像包括若干目標(biāo)像素；

所述分區(qū)優(yōu)化模塊包括多個(gè)用于確定能夠代表區(qū)域代價(jià)值的最小區(qū)域代價(jià)值以及該最小區(qū)域代價(jià)值的區(qū)域最佳匹配點(diǎn)位置的區(qū)域單元，每個(gè)所述區(qū)域單元均包括并行設(shè)置的兩個(gè)第一最小子單元和與兩個(gè)第一最小子單元的輸出端共接的第二最小子單元；

所述多路徑代價(jià)聚合模塊包括用于傳遞每個(gè)區(qū)域的代價(jià)聚合值并輔助每個(gè)區(qū)域代價(jià)更新的若干先進(jìn)先出單元、用于確定每個(gè)區(qū)域?qū)?yīng)的不同預(yù)設(shè)路徑方向上的路徑代價(jià)值并分別聚合同一區(qū)域的多個(gè)路徑代價(jià)值的若干代價(jià)聚合模塊以及用于確定每個(gè)區(qū)域的多個(gè)能量函數(shù)值的加法聚合模塊；

所述深度計(jì)算模塊包括用于確定每個(gè)區(qū)域的多個(gè)能量函數(shù)值中最小能量函數(shù)值的能量最小查找模塊、用于確定對(duì)應(yīng)區(qū)域該最小能量函數(shù)的視差區(qū)域的移位模塊以及用于基于所述移位模塊的每個(gè)視差區(qū)域以及所述分區(qū)優(yōu)化模塊的對(duì)應(yīng)區(qū)域的區(qū)域最佳匹配點(diǎn)位置所確定的每個(gè)目標(biāo)像素的深度信息的加法模塊。

進(jìn)一步地，所述右普查轉(zhuǎn)碼單元包括右行緩存單元、右普查窗口單元以及右普查對(duì)比單元，所述左普查轉(zhuǎn)碼單元包括左行緩存單元、左普查窗口單元以及左普查對(duì)比單元，其中，所述右行緩存單元與所述左行緩存單元的結(jié)構(gòu)相同，所述右普查窗口單元和所述右普查對(duì)比單元分別與所述左普查窗口單元、所述左普查對(duì)比單元的結(jié)構(gòu)不同。

進(jìn)一步地，當(dāng)以左圖像為目標(biāo)圖像，以右圖像為非目標(biāo)圖像時(shí)，所述左普查窗口單元包括一個(gè)用于遍歷左圖像的左滑動(dòng)窗口，該左滑動(dòng)窗口包括若干個(gè)寄存器，所述左普查對(duì)比單元包括一個(gè)左對(duì)比窗口，所述左對(duì)比窗口包括若干個(gè)比較器；所述右普查窗口單元包括用于遍歷右圖像中距離目標(biāo)像素預(yù)設(shè)視差閾值區(qū)域內(nèi)每個(gè)視差像素的右視差窗口，所述右視差窗口的個(gè)數(shù)為預(yù)設(shè)視差閾值，每個(gè)所述右視差窗口均包括若干個(gè)寄存器；所述右普查對(duì)比單元包括預(yù)設(shè)視差閾值個(gè)右對(duì)比窗口，每個(gè)所述右對(duì)比窗口包括若干個(gè)比較器；