[發(fā)明專利]一種圖像匹配方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210020600.9
• 申請(qǐng)日: 2022-01-10
• 公開（公告）號(hào): CN114529739A
• 公開（公告）日: 2022-05-24
• 發(fā)明（設(shè)計(jì)）人: 劉李漫
• 申請(qǐng)（專利權(quán)）人: 武漢圖科智能科技有限公司
• 主分類號(hào): G06V10/46
• 分類號(hào): G06V10/46;G06V10/75;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 武漢藍(lán)寶石專利代理事務(wù)所(特殊普通合伙) 42242
• 代理人: 方菲

本發(fā)明提供一種圖像匹配方法，該方法以sift等描述子生成的粗匹配關(guān)系作為輸入，剔除這些粗匹配關(guān)系中的誤匹配，并準(zhǔn)確地估計(jì)兩視圖之間的位姿變換。提出的方法主要包括：設(shè)計(jì)了一種以Fn?measure分類指標(biāo)為引導(dǎo)的損失函數(shù)來對(duì)網(wǎng)絡(luò)進(jìn)行監(jiān)督訓(xùn)練；提出了一個(gè)混合注意力特征提取模塊來對(duì)輸入的匹配關(guān)系進(jìn)行特征提取；最后利用所提出的損失函數(shù)和混合注意力模塊設(shè)計(jì)了一個(gè)級(jí)聯(lián)優(yōu)化的網(wǎng)絡(luò)，由粗到精地剔除誤匹配并回歸相對(duì)位姿。利用本發(fā)明提出的策略可用于三維重建、即時(shí)定位與地圖重建等多個(gè)領(lǐng)域。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺技術(shù)領(lǐng)域，更具體地，涉及一種圖像匹配方法。

背景技術(shù)

圖像特征點(diǎn)匹配技術(shù)旨在找到兩個(gè)場(chǎng)景重疊的圖像之間穩(wěn)定準(zhǔn)確的稀疏對(duì)應(yīng)點(diǎn)關(guān)系并估計(jì)兩視圖相對(duì)位姿。近年來，隨著深度神經(jīng)網(wǎng)絡(luò)的理論和硬件技術(shù)的發(fā)展，一類基于卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network，CNN)的方法被廣泛應(yīng)用在圖像特征點(diǎn)匹配任務(wù)上。他們的核心是利用卷積神經(jīng)網(wǎng)絡(luò)代替?zhèn)鹘y(tǒng)的基于采樣和選擇的模型擬合方法。由于計(jì)算機(jī)成像原理中，正確匹配對(duì)的兩個(gè)點(diǎn)的歸一化坐標(biāo)滿足某個(gè)本質(zhì)矩陣的約束，而錯(cuò)誤匹配對(duì)則不滿足。基于網(wǎng)絡(luò)的方式通過學(xué)習(xí)一個(gè)全局特征用來代替一個(gè)全局的正確匹配點(diǎn)分布，并用這個(gè)學(xué)習(xí)到的全局特征來規(guī)范化每個(gè)匹配對(duì)的特征，使得正確匹配對(duì)的特征和錯(cuò)誤匹配對(duì)的特征能夠被網(wǎng)絡(luò)區(qū)分開。然而，應(yīng)用這種方法在圖像特征匹配上時(shí)存在這兩個(gè)問題：1)很難確定一個(gè)合適的尺度來確定那些匹配對(duì)需要被保留。如果設(shè)計(jì)過松的保留準(zhǔn)則，則很多錯(cuò)誤的匹配對(duì)也會(huì)被認(rèn)為是正確匹配對(duì)，從而導(dǎo)致保留的匹配對(duì)精度過低；而如果設(shè)計(jì)過緊的保留準(zhǔn)則，則很多正確匹配對(duì)也被當(dāng)成錯(cuò)誤匹配對(duì)，那么這樣雖然保留的匹配對(duì)精度很高，但是數(shù)量很少，難以用于實(shí)際應(yīng)用。2)在使用卷積神經(jīng)網(wǎng)絡(luò)尋找正確匹配對(duì)時(shí)，很難保證全局特征能夠具有表征正確匹配對(duì)的分布的能力。這樣正確匹配對(duì)和錯(cuò)誤匹配對(duì)就不能很好地被區(qū)分開來。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求，本發(fā)明的目的在于提供了一種基于可引導(dǎo)損失函數(shù)和混合注意力機(jī)制以及級(jí)聯(lián)網(wǎng)絡(luò)的圖像匹配方法，由此解決現(xiàn)有的方法難以確定保留匹配點(diǎn)準(zhǔn)則以及難以編碼復(fù)雜幾何變換的技術(shù)問題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種圖像匹配方法，包括：

S1，分別提取源圖像I₁和目標(biāo)圖像I₂的sift特征點(diǎn)，并基于sift特征點(diǎn)，對(duì)源圖像I₁和目標(biāo)圖像I₂進(jìn)行圖像匹配，生成粗匹配集其中，N表示粗匹配集中匹配對(duì)的個(gè)數(shù)，計(jì)算第i個(gè)匹配對(duì)對(duì)應(yīng)的勞氏比r_i；

S2，并將勞氏比ri轉(zhuǎn)化為先驗(yàn)概率pi，所述先驗(yàn)概率pi表征第i個(gè)匹配對(duì)為正確匹配對(duì)的概率；

S3，將每一個(gè)匹配對(duì)的坐標(biāo)c_i(1≤i≤N)作為特征輸入網(wǎng)絡(luò)，并使用多層感知器對(duì)c_i進(jìn)行升維，升維后的特征記為f_i(1≤i≤N)；

S4，將每個(gè)匹配對(duì)對(duì)應(yīng)的特征f_i和先驗(yàn)概率p_i作為輸入送到所提出的混合注意力提取模塊中，分別提取每個(gè)匹配對(duì)在空間上和通道上的注意力特征；

S5，根據(jù)每個(gè)匹配對(duì)的注意力特征，將匹配對(duì)分成正確匹配對(duì)和錯(cuò)誤匹配對(duì)，利用所提出的Fn-measure引導(dǎo)的損失函數(shù)作為監(jiān)督信息，得到粗略分類結(jié)果；

S6，在粗略分類結(jié)果中進(jìn)行精細(xì)查找，同樣用Fn-measure引導(dǎo)的損失函數(shù)做為目標(biāo)函數(shù)，通過逐漸減小Fn-measre得到精細(xì)分類結(jié)果；

S7，利用精細(xì)分類結(jié)果中每個(gè)匹配對(duì)對(duì)應(yīng)的先驗(yàn)概率，通過加權(quán)8點(diǎn)法估計(jì)源圖像I₁與目標(biāo)圖像I₂之間的相關(guān)位姿。

通過本發(fā)明所構(gòu)思的以上技術(shù)方案與現(xiàn)有技術(shù)相比，具有一下有益效果：