[發(fā)明專利]雙目圖像處理方法、成像裝置及電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 201711375443.9
• 申請(qǐng)日: 2017-12-19
• 公開（公告）號(hào): CN108062765A
• 公開（公告）日: 2018-05-22
• 發(fā)明（設(shè)計(jì)）人: 郭鑫;周宇;余志強(qiáng);徐洪波;賀遙;陽志文
• 申請(qǐng)（專利權(quán)）人: 上海興芯微電子科技有限公司
• 主分類號(hào): G06T7/32
• 分類號(hào): G06T7/32;G06T7/55
• 代理公司: 上海領(lǐng)洋專利代理事務(wù)所(普通合伙) 31292
• 代理人: 劉秋蘭

本發(fā)明提供了一種雙目圖像處理方法，以及使用該雙目圖像處理方法的成像裝置和電子設(shè)備。該雙目圖像處理方法包括：由一對(duì)圖像采集子單元構(gòu)成的成像單元采集第一圖像和第二圖像；將第一圖像和第二圖像發(fā)送給圖像處理單元進(jìn)行立體匹配，獲取第一圖像和第二圖像的初始視差；將第一圖像分割成若干塊子圖像；對(duì)每一子圖像中的像素點(diǎn)的初始視差進(jìn)行統(tǒng)計(jì)，確定穩(wěn)定像素點(diǎn)和非穩(wěn)定像素點(diǎn)；對(duì)非穩(wěn)定像素點(diǎn)的視差進(jìn)行優(yōu)化，獲取最終視差圖。本發(fā)明不僅保證了運(yùn)算速度，同時(shí)提高了立體匹配視差計(jì)算的精度，具有較強(qiáng)的實(shí)際應(yīng)用意義。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)，特別涉及一種圖像分割后處理的立體匹配方法。

背景技術(shù)

隨著立體視覺的不斷發(fā)展，尤其是雙攝手機(jī)的問世，可以很輕便的實(shí)現(xiàn)像單反相機(jī)那樣不同景深的模糊虛化。雙攝與人眼的原理是類似的，當(dāng)人用一只眼睛的時(shí)候，很難準(zhǔn)確識(shí)別物體的距離，也即單攝手機(jī)很難獲取場景深度，而當(dāng)同時(shí)使用兩只眼睛時(shí)，大腦利用兩個(gè)視角的圖像，重構(gòu)出真實(shí)的三維世界，從而構(gòu)成人類最重要的信息來源——視覺。雙攝亦是仿照人眼來進(jìn)行工作。對(duì)真實(shí)世界中的某一場景，利用雙攝像頭同時(shí)對(duì)其進(jìn)行數(shù)據(jù)采集成像，從而將三維世界中的某一個(gè)物點(diǎn)同時(shí)記錄在了兩幅圖像上，即同一物點(diǎn)對(duì)應(yīng)的兩個(gè)像點(diǎn)。而雙攝重構(gòu)三維世界的重要步驟之一就是立體匹配。

立體匹配即是利用參考圖像(如“左圖”)上的像點(diǎn)，在目標(biāo)圖像(如“右圖”)上找到與之對(duì)應(yīng)的匹配點(diǎn)。根據(jù)對(duì)極幾何知識(shí)，利用左右匹配點(diǎn)，可以獲取視差，結(jié)合三角測量法，便可以計(jì)算出兩個(gè)像點(diǎn)對(duì)應(yīng)的三維世界中的同一物點(diǎn)的深度。以此，可以計(jì)算出左右圖像公共視場中所有物點(diǎn)的深度信息。立體匹配是獲取物體深度的基礎(chǔ)，而深度是實(shí)現(xiàn)背景虛化，深度測量，無人駕駛等應(yīng)用的基礎(chǔ)。立體匹配的精度也決定了這些應(yīng)用的準(zhǔn)確度。

但是，立體匹配的精度受很多因素影響，如當(dāng)場景中有大片低紋理或者存在物體的遮擋時(shí)，對(duì)應(yīng)的這些像素點(diǎn)稱為不穩(wěn)定點(diǎn)(unstable point)，反之像素點(diǎn)稱為穩(wěn)定點(diǎn)(stable point)。對(duì)于unstable point很容易引起視差計(jì)算錯(cuò)誤，從而導(dǎo)致深度錯(cuò)誤。針對(duì)這些缺陷，也出現(xiàn)了多種多樣的立體匹配方法，如絕對(duì)誤差和算法SAD(Sum of AbsoluteDifferences)，誤差平方和算法SSD(Sum of Squared Differences)，歸一化積相關(guān)算法NCC(Normalized Cross Correlation)，置信度傳播BP(Belief Propagation)，圖割(graph-cut)等方法。這些方法各有利弊，如SAD本身原理簡單，但很容易出現(xiàn)匹配錯(cuò)誤；而graph-cut較前者原理復(fù)雜，準(zhǔn)確度較高，但計(jì)算量大，算法運(yùn)算時(shí)間較長，很難達(dá)到實(shí)時(shí)計(jì)算深度的要求。

發(fā)明內(nèi)容

根據(jù)本發(fā)明實(shí)施例，提供了一種雙目圖像處理方法，用于一電子設(shè)備，電子設(shè)備包括由一對(duì)圖像采集子單元構(gòu)成的成像單元，雙目圖像處理方法包含：由一對(duì)圖像采集子單元構(gòu)成的成像單元采集第一圖像和第二圖像；將第一圖像和第二圖像發(fā)送給圖像處理單元進(jìn)行立體匹配，獲取第一圖像和第二圖像的初始視差；將第一圖像分割成若干塊子圖像；對(duì)每一子圖像中的像素點(diǎn)的初始視差進(jìn)行統(tǒng)計(jì)，確定穩(wěn)定像素點(diǎn)和非穩(wěn)定像素點(diǎn)；對(duì)非穩(wěn)定像素點(diǎn)的視差進(jìn)行優(yōu)化，獲取最終視差圖。

進(jìn)一步，根據(jù)本發(fā)明實(shí)施例的雙目圖像處理方法，采用全局匹配算法計(jì)算所述立體匹配獲取初始視差。

進(jìn)一步，根據(jù)本發(fā)明實(shí)施例的雙目圖像處理方法，全局匹配算法采用置信度傳播算法。

進(jìn)一步，根據(jù)本發(fā)明實(shí)施例的雙目圖像處理方法，置信度傳播算法的匹配代價(jià)包含但不限于：像素點(diǎn)、像素點(diǎn)的鄰域像素點(diǎn)信息、及鄰域像素點(diǎn)的鄰域點(diǎn)傳遞給鄰域像素點(diǎn)的信息。

進(jìn)一步，根據(jù)本發(fā)明實(shí)施例的雙目圖像處理方法，采用K-means算法對(duì)第一圖像進(jìn)行圖像分割，K-means算法中，為每個(gè)像素點(diǎn)在一定距離范圍內(nèi)尋找距離最近的簇中心。

進(jìn)一步，根據(jù)本發(fā)明實(shí)施例的雙目圖像處理方法，尋找距離最近的簇中心的計(jì)算參數(shù)包含：距離和顏色強(qiáng)度。