[發(fā)明專利]基于景深補(bǔ)償?shù)囊暡顖D像拼接方法

有效

• 申請?zhí)枺?/td>: 202010789913.1
• 申請日: 2020-08-07
• 公開（公告）號: CN112085653B
• 公開（公告）日: 2022-09-16
• 發(fā)明（設(shè)計(jì)）人: 朱策
• 申請（專利權(quán)）人: 四川九洲電器集團(tuán)有限責(zé)任公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/12;G06T7/50;G06T7/33
• 代理公司: 成都慕川專利代理事務(wù)所(普通合伙) 51278
• 代理人: 楊艷

本發(fā)明公開了基于景深補(bǔ)償?shù)囊暡顖D像拼接方法，所述方法包括如下步驟：S1：對目標(biāo)場景景深進(jìn)行預(yù)估，并使用Mask R?CNN圖像分割算法，根據(jù)待拼接圖像的不同景深，將不同景深下的場景進(jìn)行分割；S2：在不同景深下的場景分別提取特征點(diǎn)，根據(jù)特征點(diǎn)對待拼接的圖像中的不同景深的場景進(jìn)行匹配；S3：對于不同景深的匹配到的場景，在分割出來的不同場景的輪廓中選取N個均勻的錨點(diǎn)，結(jié)合步驟S2中對不同景深下場景匹配到的特征點(diǎn)劃分德勞內(nèi)三角形；S4：將待拼接圖像進(jìn)行尺度歸一后，將該待拼接圖像的相鄰景深的場景，根據(jù)匹配到的特征點(diǎn)計(jì)算視差偏移向量；S5：根據(jù)步驟S4中獲取的視差偏移向量進(jìn)行位置補(bǔ)償，并根據(jù)補(bǔ)償之后的特征點(diǎn)獲取補(bǔ)償之后的變換關(guān)系。

技術(shù)領(lǐng)域

本發(fā)明涉及一種視差圖像拼接的方法，具體涉及基于景深補(bǔ)償?shù)囊暡顖D像拼接方法。

背景技術(shù)

圖像拼接是一種利用多幅圖像重疊區(qū)域的相關(guān)性，通過一系列配準(zhǔn)算法以及后處理算法從而得到一幅視場更大的圖像的技術(shù)，主要包括配準(zhǔn)過程和組合過程。配準(zhǔn)過程旨在得到圖像之間的變換參數(shù)，進(jìn)而根據(jù)變換參數(shù)對待拼接圖像進(jìn)行組合，由于變換參數(shù)的不精確而使得組合之后的圖像出現(xiàn)重影等結(jié)構(gòu)失真問題，因此組合階段的后處理過程旨在降低配準(zhǔn)參數(shù)不準(zhǔn)確而導(dǎo)致的結(jié)構(gòu)失真并對配準(zhǔn)完的圖像消除像素失真。即配準(zhǔn)階段得到使得變換之后的圖像結(jié)構(gòu)失真最小的變換參數(shù)，組合階段一定程度上消除結(jié)構(gòu)失真與像素失真。

然而由于自然場景的復(fù)雜性(景深的差異從而導(dǎo)致遮擋或者非遮擋關(guān)系)，對于在角度不同或者相機(jī)之間的距離(基線，base line)不同所拍攝的同一場景在圖像上往往具有較大差異，這類圖像稱為視差圖像。

傳統(tǒng)的圖像拼接算法適用于簡單場景圖像的拼接：深度連續(xù)變化的場景以及嚴(yán)格滿足特定采集條件的圖像，多數(shù)拼接方法都是將圖像當(dāng)作單一平面對待，即使通過劃分網(wǎng)格或者其他方式的劃分方式，仍然沒有考慮圖像中的不同場景之間的深度關(guān)系。因此對于視差圖像，傳統(tǒng)的拼接算法未能取得較好的拼接效果，為了應(yīng)對視差圖像的拼接，分析視差產(chǎn)生的原因，本發(fā)明提出一種按照場景深度進(jìn)行拼接的方法。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是為解決使用現(xiàn)有圖像拼接算法對視差圖像難以拼接或者拼接效果差的問題，目的在于提供基于景深補(bǔ)償?shù)囊暡顖D像拼接方法，解決上述的問題。

本發(fā)明通過下述技術(shù)方案實(shí)現(xiàn)：

基于景深補(bǔ)償?shù)囊暡顖D像拼接方法，其特征在于，所述方法包括如下步驟：S1：對目標(biāo)場景景深進(jìn)行預(yù)估，并使用Mask R-CNN圖像分割算法，根據(jù)待拼接圖像的不同景深，將不同景深下的場景進(jìn)行分割；S2：在不同景深下的場景分別提取特征點(diǎn)，根據(jù)特征點(diǎn)對待拼接的圖像中的不同景深的場景進(jìn)行匹配；S3：對于不同景深的匹配到的場景，在不同場景的分割輪廓中選取N個均勻的錨點(diǎn)，結(jié)合步驟S2中對不同景深下場景匹配到的特征點(diǎn)劃分德勞內(nèi)(Delaunay)三角形；S4：將待拼接圖像進(jìn)行尺度歸一后，將該待拼接圖像的相鄰景深的場景，根據(jù)匹配到的特征點(diǎn)計(jì)算視差偏移向量；S5：根據(jù)步驟S4中獲取的視差偏移向量進(jìn)行位置補(bǔ)償，并根據(jù)補(bǔ)償之后的特征點(diǎn)獲取補(bǔ)償之后的變換關(guān)系；S6：確定變換關(guān)系后，按照深度順序?qū)Σ煌吧顖鼍耙来纹唇樱瑢γ總€場景的每個德勞內(nèi)三角形計(jì)算變換權(quán)重，根據(jù)變換權(quán)重對參考圖像與目標(biāo)圖像的每個德勞內(nèi)三角形進(jìn)行變換，并建立查找表；S7：通過查找表對整幅圖像進(jìn)行配準(zhǔn)，隨后對配準(zhǔn)圖像進(jìn)行后處理得到最終的拼接圖像。

在現(xiàn)有技術(shù)中，現(xiàn)有的圖像拼接方法未考慮場景的深度遮擋關(guān)系，對圖像不同深度的場景當(dāng)作同一平面進(jìn)行拼接，或者在進(jìn)行場景分割時，對圖像劃分網(wǎng)格或者采用其他的劃分方式，劃分較為隨意，忽視了場景的遮擋關(guān)系，因此對于視差圖像的拼接效果較差。因此本申請文件根據(jù)上述出現(xiàn)的情況，根據(jù)深度估計(jì)結(jié)果，使用Mask R-CNN等圖像分割算法，將不同景深下的場景較為精細(xì)的分割出來，最后，對不同景深的場景進(jìn)行拼接。

進(jìn)一步地，所述步驟S2中通過對不同景深的場景進(jìn)行匹配。