[發(fā)明專利]一種基于空間通道注意力機制神經(jīng)網(wǎng)絡的圖像匹配方法

在審

• 申請?zhí)枺?/td>: 202011461803.9
• 申請日: 2020-12-09
• 公開（公告）號: CN112489098A
• 公開（公告）日: 2021-03-12
• 發(fā)明（設計）人: 代欒媛;劉鑫;陳日清;楊長才;魏麗芳
• 申請（專利權）人: 福建農(nóng)林大學
• 主分類號: G06T7/33
• 分類號: G06T7/33;G06T7/73;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 福州元創(chuàng)專利商標代理有限公司 35100
• 代理人: 陳明鑫;蔡學俊

本發(fā)明涉及一種基于空間通道注意力機制神經(jīng)網(wǎng)絡的圖像匹配方法。該方法包括步驟：步驟1：根據(jù)SIFT方法得到初始匹配集合c；步驟2：通過改進的OANet網(wǎng)絡對輸入數(shù)據(jù)進行處理從而得到匹配對為正確匹配的概率；步驟3：對步驟2得到的結果通過加權8點算法進行計算得到本質(zhì)矩陣；步驟4，根據(jù)本質(zhì)矩陣信息得到準確的相機姿態(tài)（旋轉和平移）。本發(fā)明的網(wǎng)絡能夠有效地剔除異常值（離群點），同時估計成圖像對的相機姿態(tài)。本發(fā)明的一種基于空間通道注意力機制神經(jīng)網(wǎng)絡的圖像匹配方法在mAP5°方法取得很大的提升。

技術領域

本發(fā)明涉及圖像匹配領域，具體涉及一種基于空間通道注意力機制神經(jīng)網(wǎng)絡的圖像匹配方法。

背景技術

特征匹配在三維重建、同時定位和建圖、圖像拼接、雙目立體匹配等計算機視覺任務中扮演著十分重要的角色，是處理計算機視覺任務中的一個基礎且重要的步驟。通常，特征匹配包含四個步驟，即特征提取、特征描述，初始匹配獲取和誤匹配剔除。由于初始匹配存在大尺度的變化、光照變化、遮擋和模糊等情況，所以初始匹配集合中通常包含大量的異常值。因此，誤匹配剔除作為一個關鍵的后處理步驟可以從初始匹配集合中尋找正確的內(nèi)點并剔除離群點從而得到更加準確的匹配結果。所以，研究一種準確、魯棒且高效的匹配算法對實現(xiàn)智能視覺有著極為重要的理論研究意義和實際應用價值。

在過去的幾十年里許多學者提出了大量不同種類的匹配方法。根據(jù)最近的工作，特征匹配方法可分為四類，即采樣方法、非參數(shù)插值方法、圖匹配方法和基于深度學習的方法。其中前三類又可以總結為傳統(tǒng)的方法，所以目前匹配的方法可以分為兩大類，即傳統(tǒng)的方法和基于深度學習的方法。傳統(tǒng)的方法通常使用特征點檢測算法，例如經(jīng)典的尺度不變特征變換(SIFT)算法和隨機抽樣一致性算法(RANSAC)以及最近比較流行的基于網(wǎng)格的運動統(tǒng)計(GMS)和局部保持匹配(LPM)等算法。近年來，受海量數(shù)據(jù)的影響，基于深度學習的特征匹配算法開始流行起來，并且在大數(shù)據(jù)集上取得了很好的效果。例如，LFGC提出了一種類似PointNet的體系結構來推斷每個匹配的為內(nèi)點的概率，它主要利用多層感知器(MLPs)來處理每個單獨的匹配。LFGC還在整個匹配集上引入了一個簡單的非參數(shù)上下文正則化(CN)來捕獲全局上下文信息。ACNE使用了基于學習的注意力機制上下文標準化(ACN)，以獲得有用的上下文信息。然而，非參數(shù)歸一化運算只利用匹配的均值和方差，不加區(qū)分地處理每個匹配對。其他基于學習的方法也等價地處理每個匹配對。然而，當異常值在初始對應集中占主導地位時，這種不區(qū)分匹配對權重的操作會嚴重限制網(wǎng)絡的性能，影響到最終的匹配結果。因此如何確定匹配對為正確匹配的概率，是進一步提升匹配性能所需要解決的重點和難點問題。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服上述技術缺陷，提供一種基于空間通道注意力機制神經(jīng)網(wǎng)絡的圖像匹配方法。

為實現(xiàn)上述目的，本發(fā)明的技術方案是：一種基于空間通道注意力機制神經(jīng)網(wǎng)絡的圖像匹配方法，包括如下步驟：

步驟S1、根據(jù)SIFT方法得到圖像對I和I'初始匹配集合C；

步驟S2、通過改進的OANet網(wǎng)絡對輸入數(shù)據(jù)進行處理從而得到匹配對為正確匹配的概率；

步驟S3、對步驟S2得到的結果通過加權8點算法進行計算得到本質(zhì)矩陣；

步驟S4、根據(jù)本質(zhì)矩陣信息得到準確的相機姿態(tài)。

在本發(fā)明一實施例中，步驟S1具體實現(xiàn)如下：

步驟S11、首先使用SIFT算法來提取兩幅圖像(I,I')的關鍵點坐標和其對應的描述子；

步驟S12、根據(jù)描述子的最近鄰相似約束，得到一個初始匹配集合C：

其中，c_i表示第i個匹配對；N是匹配對的總數(shù)；和是給定兩幅圖像中匹配對的正則化坐標。

在本發(fā)明一實施例中，步驟S2具體實現(xiàn)如下：