[發(fā)明專利]一種基于直線特征匹配及約束的圖像拼接方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110263577.1
• 申請(qǐng)日: 2021-03-11
• 公開(kāi)（公告）號(hào): CN112967217A
• 公開(kāi)（公告）日: 2021-06-15
• 發(fā)明（設(shè)計(jì)）人: 賈棋;樊鑫;羅鐘鉉;劉宇;趙浩天;藤世宇;王祎;徐秀娟
• 申請(qǐng)（專利權(quán)）人: 大連理工大學(xué)
• 主分類號(hào): G06T5/50
• 分類號(hào): G06T5/50;G06K9/62;G06K9/46
• 代理公司: 大連大工智訊專利代理事務(wù)所(特殊普通合伙) 21244
• 代理人: 崔雪

本發(fā)明涉及計(jì)算機(jī)視覺(jué)圖像拼接領(lǐng)域，提供一種基于直線特征匹配及約束的圖像拼接方法，包括步驟100，將兩幅圖像劃分為目標(biāo)圖像和參考圖像，提取并匹配兩幅圖像中的特征點(diǎn)，篩選正確的匹配點(diǎn)，提取兩幅圖像中的特征直線；步驟200，利用點(diǎn)線不變量匹配兩幅圖像中的特征直線，根據(jù)幾何關(guān)系重構(gòu)匹配直線鄰域內(nèi)的特征點(diǎn)以增加匹配特征點(diǎn)的數(shù)量，最后篩選正確的匹配點(diǎn)；步驟300，估計(jì)全局單應(yīng)性矩陣；步驟400，為目標(biāo)圖像劃分均勻網(wǎng)格，構(gòu)造能量函數(shù)的約束項(xiàng)，通過(guò)最小化能量函數(shù)計(jì)算扭曲網(wǎng)格的頂點(diǎn)坐標(biāo)；步驟500，將扭曲的目標(biāo)圖像與參考圖像融合，形成最終的拼接圖像。本發(fā)明能夠在保持全局直線的同時(shí)大幅度減少拼接圖像的失真情況。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺(jué)圖像拼接領(lǐng)域，尤其涉及一種基于直線特征匹配及約束的圖像拼接方法。

背景技術(shù)

圖像拼接是將多幅圖像組合成更大視場(chǎng)的一種方法，是計(jì)算機(jī)視覺(jué)系統(tǒng)中非常重要的應(yīng)用之一，其廣泛應(yīng)用于攝影測(cè)量、機(jī)器人導(dǎo)航、無(wú)人機(jī)視覺(jué)和智能手機(jī)全景圖合成等。在圖像拼接過(guò)程中，特別是對(duì)于大視差的圖像拼接，解決偽影失真問(wèn)題的同時(shí)保護(hù)圖像的直線結(jié)構(gòu)信息是一個(gè)巨大的挑戰(zhàn)。

最早的圖像拼接算法由Automatic Panoramic Image Stitching usingInvariant Features(AutoStitch)開(kāi)啟，它為每個(gè)輸入圖像估計(jì)一個(gè)最優(yōu)的全局變換，但是它只適用于理想的近平面場(chǎng)景，同時(shí)產(chǎn)生的圖像往往會(huì)受到局部偽影和投影畸變的影響。在此之后，As-Projective-As-Possible(APAP)將圖像劃分為密集網(wǎng)格，每個(gè)網(wǎng)格都用一個(gè)單應(yīng)性矩陣對(duì)齊，叫做局部單應(yīng)性，但是仍然存在失真、直線結(jié)構(gòu)無(wú)法保持等現(xiàn)象。Natural Image Stitching with the Global Similarity(GSP)通過(guò)直線對(duì)齊約束確定全局相似矩陣的角度選擇，用APAP的方法初始化網(wǎng)格，約束項(xiàng)方面同時(shí)使用局部相似約束和全局相似約束，多圖拼接性能和觀感自然度提升，但是拼接過(guò)程中直線結(jié)構(gòu)會(huì)出現(xiàn)大幅度彎曲現(xiàn)象。Single-Perspective Warps in Natural Image Stitching(SPW)同時(shí)強(qiáng)調(diào)了單視角變換的不同特征，能量函數(shù)包括點(diǎn)對(duì)齊項(xiàng)，畸變保護(hù)項(xiàng)和顯著直線項(xiàng)，但是無(wú)法處理局部失真和全局直線保護(hù)之間的關(guān)系。除此之外還有一些基于拼接縫的圖像拼接算法，但是在大視差圖像拼接時(shí)，都會(huì)出現(xiàn)嚴(yán)重的失真現(xiàn)象。

發(fā)明內(nèi)容

為了克服現(xiàn)有圖像拼接方法在非重疊區(qū)域的失真問(wèn)題和直線結(jié)構(gòu)保持性較差的問(wèn)題，本發(fā)明提供了一種基于直線特征匹配及約束的圖像拼接方法，它可以根據(jù)幾何關(guān)系重構(gòu)圖像中的匹配點(diǎn)，并利用局部直線和全局直線的關(guān)系對(duì)圖像中的顯著直線加以保護(hù)，豐富了圖像的特征，減少拼接圖像失真的同時(shí)保護(hù)了其直線結(jié)構(gòu)，保證了拼接圖像的自然性。

本發(fā)明提供的一種基于直線特征匹配及約束的圖像拼接方法，包括以下過(guò)程：

步驟100，將兩幅圖像劃分為目標(biāo)圖像和參考圖像，利用SURF方法提取并匹配兩幅圖像中的特征點(diǎn)，利用RANSAC方法篩選正確的匹配點(diǎn)，利用LSD方法提取兩幅圖像中的直線；

步驟200，利用點(diǎn)線不變量匹配兩幅圖像中的直線，然后根據(jù)幾何映射關(guān)系尋找匹配直線對(duì)應(yīng)的鄰域內(nèi)的特征點(diǎn)以增加特征點(diǎn)的數(shù)量，最后使用RANSAC方法篩選正確的匹配特征點(diǎn)對(duì)，具體過(guò)程如下：

步驟201，從步驟100輸出的直線中，根據(jù)直線的長(zhǎng)度為每條直線劃分鄰域，然后計(jì)算目標(biāo)圖像直線和參考圖像直線對(duì)應(yīng)的左鄰域和右鄰域的相似度，根據(jù)鄰域相似度得到最終的匹配直線集；

步驟202，從步驟201輸出的匹配直線中，對(duì)每一對(duì)匹配直線，分別在其左鄰域和右鄰域內(nèi)取匹配特征點(diǎn)，根據(jù)匹配特征點(diǎn)構(gòu)造三角形特征數(shù)，將特征三角形上對(duì)應(yīng)位置的點(diǎn)作為特征點(diǎn)對(duì)，以此獲得更多的匹配點(diǎn)，最后使用RANSAC方法篩選正確的匹配特征點(diǎn)；

步驟300，利用步驟200獲得的所有匹配特征點(diǎn)和匹配直線，估計(jì)目標(biāo)圖像和參考圖像之間的單應(yīng)矩陣H；