[發(fā)明專利]基于深度圖嵌入網(wǎng)絡(luò)與結(jié)構(gòu)自學(xué)習(xí)的圖像關(guān)鍵點匹配方法

有效

• 申請?zhí)枺?/td>: 202110202841.0
• 申請日: 2021-02-23
• 公開（公告）號: CN112801206B
• 公開（公告）日: 2022-10-14
• 發(fā)明（設(shè)計）人: 曾少鋒;劉智勇;楊旭
• 申請（專利權(quán)）人: 中國科學(xué)院自動化研究所
• 主分類號: G06V10/74
• 分類號: G06V10/74;G06V10/46;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京市恒有知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

本發(fā)明屬于計算機(jī)視覺領(lǐng)域，具體涉及了一種基于深度圖嵌入網(wǎng)絡(luò)與結(jié)構(gòu)自學(xué)習(xí)的圖像關(guān)鍵點匹配方法，旨在解決現(xiàn)有技術(shù)未能學(xué)習(xí)圖像目標(biāo)的結(jié)構(gòu)信息，圖像關(guān)鍵點匹配的精度和準(zhǔn)確性還遠(yuǎn)達(dá)不到預(yù)期的問題。本發(fā)明包括：分別對獲取的待匹配圖像對的關(guān)鍵點進(jìn)行結(jié)構(gòu)化處理；提取待匹配圖像的特征圖，并通過雙線性插值獲取關(guān)鍵點特征矩陣；通過深度圖嵌入網(wǎng)絡(luò)更新關(guān)鍵點特征矩陣及圖結(jié)構(gòu)；通過深度圖匹配網(wǎng)絡(luò)計算相似度矩陣，通過Sinkhorn算法得到匹配矩陣并更新關(guān)鍵點特征矩陣；通過匈牙利算法進(jìn)行迭代設(shè)定次數(shù)獲得的最終匹配矩陣的離散化，獲得待匹配圖像對的關(guān)鍵點匹配結(jié)果。本發(fā)明能夠更好地學(xué)習(xí)關(guān)鍵點特征，獲得較好的匹配結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機(jī)視覺領(lǐng)域，具體涉及了一種基于深度圖嵌入網(wǎng)絡(luò)與結(jié)構(gòu)自學(xué)習(xí)的圖像關(guān)鍵點匹配方法。

背景技術(shù)

視覺目標(biāo)關(guān)鍵點匹配是計算機(jī)視覺領(lǐng)域的經(jīng)典問題。一般地，該問題首先要從兩幅圖像中分別抽取目標(biāo)關(guān)鍵點的特征表示，然后根據(jù)關(guān)鍵點之間的相似度獲得匹配結(jié)果，求解兩圖中關(guān)鍵點匹配的主要方法一般可分為兩類：一類是通過RANSAC等方法直接獲得匹配結(jié)果；另一類方法則通過圖匹配方法求解。相比于RANSAC等方法，圖匹配方法的優(yōu)勢在于可以充分利用目標(biāo)的結(jié)構(gòu)信息以減少歧義，提升匹配精度。傳統(tǒng)的提取圖像目標(biāo)關(guān)鍵點特征的方法一般采用SIFT，SURF等，而構(gòu)建目標(biāo)結(jié)構(gòu)的方法可通過Delaunay三角分解、K近鄰等方法實現(xiàn)，然而，該過程所涉及的圖匹配問題一般為NP難問題，求解難度較大。

深層神經(jīng)網(wǎng)絡(luò)在圖像匹配上得到了越來越多的應(yīng)用，其中卷積網(wǎng)絡(luò)已在圖像特征學(xué)習(xí)方面表現(xiàn)出了極大的優(yōu)勢，而圖嵌入網(wǎng)絡(luò)是目前用于解決結(jié)構(gòu)化數(shù)據(jù)特征學(xué)習(xí)問題的重要方法。一些文獻(xiàn)提出通過圖匹配求解圖像關(guān)鍵點匹配的方法[1]，但其更注重圖匹配模型的求解，對于圖像特征提取等問題的研究較少。此外，隆德大學(xué)提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的圖匹配方法[2]，通過深層神經(jīng)網(wǎng)絡(luò)獲取圖像深度特征，通過深度特征構(gòu)建二次圖匹配模型求解關(guān)鍵點匹配，該方法可完成端到端訓(xùn)練，且得到了較好的匹配效果；復(fù)旦大學(xué)提出一種基于圖嵌入神經(jīng)網(wǎng)絡(luò)的圖匹配方法[3]，通過卷積神經(jīng)網(wǎng)絡(luò)獲取圖像關(guān)鍵點特征，通過圖嵌入神經(jīng)網(wǎng)絡(luò)更新關(guān)鍵點特征，將圖結(jié)構(gòu)信息融合進(jìn)關(guān)鍵點特征中，最后構(gòu)建線性圖匹配模型獲得匹配結(jié)果，避免了求解二次圖匹配這一難題。這里。這兩種方法雖然充分利用神經(jīng)網(wǎng)絡(luò)強(qiáng)大的學(xué)習(xí)表示能力，但并未能學(xué)習(xí)圖像目標(biāo)的結(jié)構(gòu)信息，圖像關(guān)鍵點匹配的精度和準(zhǔn)確性還遠(yuǎn)達(dá)不到預(yù)期。

以下文獻(xiàn)是與本發(fā)明相關(guān)的技術(shù)背景資料：

[1]Liu Zhiyong、Qiao hong，GNCCP-Graduated NonConvexity and ConcavityProcedure[J]，IEEE TRANSACTIONS.

[2]Andrei Zanfir、Cristian Sminchisescu，Deep Learning of GraphMatching，IEEE//201808.

[3]Wang Runzhong、Yan Junchi、Yang Xiaokang，Learning CombinatorialEmbedding Networks for Deep Graph Matching[C]//2019.

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)中的上述問題，即現(xiàn)有技術(shù)未能學(xué)習(xí)圖像目標(biāo)的結(jié)構(gòu)信息，圖像關(guān)鍵點匹配的精度和準(zhǔn)確性還遠(yuǎn)達(dá)不到預(yù)期的問題，本發(fā)明提供了一種基于深度圖嵌入網(wǎng)絡(luò)與結(jié)構(gòu)自學(xué)習(xí)的圖像關(guān)鍵點匹配方法，該方法包括：

步驟S10，通過Delaunay三角分解或K近鄰法分別對獲取的待匹配圖像對的關(guān)鍵點進(jìn)行結(jié)構(gòu)化處理，獲得兩幅圖像關(guān)鍵點的鄰接矩陣；

步驟S20，將所述待匹配圖像對及其關(guān)鍵點、鄰接矩陣輸入訓(xùn)練好的圖像關(guān)鍵點匹配網(wǎng)絡(luò)，通過圖像關(guān)鍵點匹配網(wǎng)絡(luò)中的特征提取網(wǎng)絡(luò)提取關(guān)鍵點特征圖，并通過雙線性插值法獲取關(guān)鍵點特征矩陣；

步驟S30，通過圖像關(guān)鍵點匹配網(wǎng)絡(luò)中的深度圖嵌入網(wǎng)絡(luò)更新關(guān)鍵點特征矩陣及圖結(jié)構(gòu)；