[發(fā)明專利]基于金字塔塊匹配的雙目場(chǎng)景流計(jì)算方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011600696.3
• 申請(qǐng)日: 2020-12-30
• 公開(kāi)（公告）號(hào): CN112581494B
• 公開(kāi)（公告）日: 2023-05-02
• 發(fā)明（設(shè)計(jì)）人: 陳震;倪晶晶;張聰炫;胡衛(wèi)明;黎明;陳昊;葛利躍;江少鋒
• 申請(qǐng)（專利權(quán)）人: 南昌航空大學(xué)
• 主分類號(hào): G06T7/223
• 分類號(hào): G06T7/223;G06T7/215
• 代理公司: 南昌市平凡知識(shí)產(chǎn)權(quán)代理事務(wù)所 36122
• 代理人: 張文杰

本發(fā)明公開(kāi)了一種基于金字塔塊匹配的雙目場(chǎng)景流計(jì)算方法，所述方法包括以下步驟：（1）獲取雙目圖像序列，所述雙目圖像序列包括多幀圖像，每幀圖像均包括左目圖像和右目圖像；（2）采用Stereo?SLIC算法對(duì)所述雙目圖像進(jìn)行超像素分割。該方法首先采用Stereo?SLIC算法和SPS?Stereo算法分別對(duì)圖像進(jìn)行超像素分割和視差計(jì)算，然后建立基于金字塔塊匹配的運(yùn)動(dòng)模型初始化場(chǎng)景中所有對(duì)象的運(yùn)動(dòng)參數(shù)，接著將塊匹配得到的稀疏匹配關(guān)系作為能量泛函數(shù)據(jù)項(xiàng)的懲罰約束項(xiàng)，通過(guò)離散標(biāo)簽將超像素和對(duì)象相關(guān)聯(lián)，構(gòu)造優(yōu)化能量函數(shù)，最后通過(guò)最大乘積粒子置信傳播算法和重加權(quán)近似消息傳遞算法最小化能量函數(shù)，對(duì)所有對(duì)象運(yùn)動(dòng)參數(shù)進(jìn)行優(yōu)化處理，得到最終的場(chǎng)景流。

技術(shù)領(lǐng)域

本發(fā)明涉及場(chǎng)景流優(yōu)化技術(shù)領(lǐng)域，具體涉及一種基于金字塔塊匹配的雙目場(chǎng)景流計(jì)算方法。

背景技術(shù)

場(chǎng)景流是三維空間中物體表面的三維運(yùn)動(dòng)場(chǎng)，或者說(shuō)，它顯示了兩幀之間每個(gè)表面像素點(diǎn)的三維運(yùn)動(dòng)矢量，就像光流是圖像中像素點(diǎn)的二維運(yùn)動(dòng)矢量。任意光流都是將場(chǎng)景流通過(guò)攝像機(jī)投影到圖像平面上。但場(chǎng)景流提供了額外的深度變化信息，能夠更好地反映物體的三維結(jié)構(gòu)以及真實(shí)運(yùn)動(dòng)。

近年來(lái)，隨著計(jì)算機(jī)應(yīng)用技術(shù)的不斷發(fā)展，圖像3D場(chǎng)景流計(jì)算及其相關(guān)技術(shù)研究逐漸成為計(jì)算機(jī)視覺(jué)與模式識(shí)別等研究領(lǐng)域的熱點(diǎn)問(wèn)題，研究成果廣泛應(yīng)用于航空航天、軍事、工業(yè)、安全防護(hù)、文物保護(hù)與復(fù)原、醫(yī)學(xué)影像處理與分析等領(lǐng)域。各種場(chǎng)景流計(jì)算方法的準(zhǔn)確度也正在逐步提高。然而，即使是目前最先進(jìn)的場(chǎng)景流方法在大位移、運(yùn)動(dòng)遮擋以及強(qiáng)光照?qǐng)鼍跋鹿烙?jì)效果仍然表現(xiàn)不佳。如何提升在大位移、運(yùn)動(dòng)遮擋以及強(qiáng)光照等復(fù)雜場(chǎng)景下的場(chǎng)景流的估計(jì)精度一直是場(chǎng)景流計(jì)算方法中需要解決的難點(diǎn)。

發(fā)明內(nèi)容

本發(fā)明提供一種基于金字塔塊匹配的雙目場(chǎng)景流計(jì)算方法，通過(guò)金字塔塊匹配結(jié)果，有效地解決大位移、運(yùn)動(dòng)遮擋和強(qiáng)光照問(wèn)題，最終達(dá)到提高場(chǎng)景流準(zhǔn)確度的目的。所述技術(shù)方案如下：

第一方面，提供了一種基于金字塔塊匹配的雙目場(chǎng)景流計(jì)算方法，所述方法包括：(1)獲取雙目圖像序列，所述雙目圖像序列包括多幀圖像，每幀圖像均包括左目圖像和右目圖像；

(2)采用Stereo-SLIC算法對(duì)所述雙目圖像進(jìn)行超像素分割；

(3)采用SPS-Stereo算法計(jì)算所述雙目圖像的左右目的視差信息；

(4)采用Classic+NL算法計(jì)算所述雙目圖像左目的背景光流信息；

(5)建立金字塔塊匹配模型，所述金字塔塊匹配模型的輸入為左目連續(xù)兩幀圖像，輸出為圖像的匹配對(duì)應(yīng)坐標(biāo)；

(6)根據(jù)金字塔塊匹配結(jié)果和背景光流信息，建立基于金字塔塊匹配的運(yùn)動(dòng)模型，計(jì)算出對(duì)象的運(yùn)動(dòng)參數(shù)；

(7)通過(guò)超像素平面參數(shù)以及對(duì)象剛性運(yùn)動(dòng)參數(shù)構(gòu)建優(yōu)化能量函數(shù)模型；

(8)采用最大乘積粒子置信傳播算法和重加權(quán)近似消息傳遞算法最小化能量函數(shù)，對(duì)剛性運(yùn)動(dòng)參數(shù)進(jìn)行優(yōu)化處理，確定雙目圖像序列場(chǎng)景流。

進(jìn)一步的，建立金字塔塊匹配模型，所述金字塔塊匹配模型的輸入為左目連續(xù)兩幀圖像，輸出為圖像的匹配對(duì)應(yīng)坐標(biāo)，包括：對(duì)左目連續(xù)兩幀圖像通過(guò)下采樣因子構(gòu)成l層的圖像金字塔，其中下采樣因子η(η＝0.5)，金字塔第l層的圖像表示為金字塔的底層是原始圖像；

在每層金字塔圖像進(jìn)行邊長(zhǎng)為d個(gè)像素的網(wǎng)格劃分，以網(wǎng)格交叉點(diǎn)為中心點(diǎn)構(gòu)建種子集合，將在l層的種子集合{s^l}的位置p{s^l}表示為最底層金字塔種子集合的降尺度版本；

對(duì)金字塔頂層圖像中種子點(diǎn)隨機(jī)賦予一個(gè)偏置量，依據(jù)隨機(jī)賦予的偏置量在對(duì)應(yīng)圖像中找到與之相對(duì)應(yīng)的種子點(diǎn)，隨機(jī)賦予的偏置量通過(guò)迭代細(xì)化，當(dāng)搜索半徑小于1個(gè)像素距離時(shí)停止搜索，得到金字塔頂層的匹配結(jié)果；