[發(fā)明專利]一種多模態(tài)圖像特征點檢測與匹配方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202310048120.8
• 申請日: 2023-01-31
• 公開（公告）號: CN116012615A
• 公開（公告）日: 2023-04-25
• 發(fā)明（設計）人: 李玉斌;李明秋;郝子強;蔣一純;詹偉達
• 申請（專利權）人: 長春理工大學
• 主分類號: G06V10/74
• 分類號: G06V10/74;G06V10/75
• 代理公司: 北京博海嘉知識產權代理事務所(普通合伙) 16007
• 代理人: 郝彥東

本發(fā)明公開了一種多模態(tài)圖像特征點檢測與匹配方法及系統(tǒng)，應用于圖像識別技術領域。方法包括以下步驟：采集多模態(tài)圖像；提取多模態(tài)圖像的特征向量；計算多模態(tài)圖像的特征向量之間的內積矩陣，得到不同模態(tài)圖像之間的像素對相似度；對不同模態(tài)圖像的特征向量進行Softmax歸一化，得到相似度最高的像素對；通過預設相似度閾值篩選得到相似像素對，實現(xiàn)特征點的檢測與匹配。本發(fā)明通過計算多模態(tài)圖像各像素之間的相似性，實現(xiàn)多模態(tài)圖像間特征點的檢測與匹配。

技術領域

本發(fā)明涉及圖像識別技術領域，更具體的說是涉及一種多模態(tài)圖像特征點檢測與匹配方法及系統(tǒng)。

背景技術

近年來，人工智能技術蓬勃發(fā)展，其主要目的是令機器聯(lián)合計算機像人類一樣感知、理解與行動，視覺感知作為最主要的感知技術之一，如何理解多個視覺目標之間的區(qū)別與聯(lián)系，并根據(jù)特定的需求對感知的信息作相應的處理已然成為整個計算機視覺領域的研究熱點之一，而特征匹配是其中的一個基礎而關鍵的過程，特征匹配首先對圖像進行預處理來提取其高層次的特征，然后建立兩幅圖像之間特征的匹配對應關系。基于圖像特征的匹配方法可以克服利用圖像灰度信息進行匹配的缺點，大大減少了匹配過程的計算量；同時，特征點的匹配度量值對位置的變化比較敏感，可以大大提高匹配的精確程度；而且，特征點的提取過程可以減少噪聲的影響，對灰度變化，圖像形變以及遮擋等都有較好的適應能力。所以基于圖像特征的匹配在實際中的應用越來越廣泛。但是，現(xiàn)有技術中的特征匹配算法均用于相同模態(tài)的圖像之間進行匹配，無法用于多模態(tài)圖像之間的特征檢測與匹配。因此，如何提供一種用于多模態(tài)圖像的特征點檢測與匹配方法是本領域技術人員亟需解決的問題。

發(fā)明內容

有鑒于此，本發(fā)明提供了一種多模態(tài)圖像特征點檢測與匹配方法及系統(tǒng)，通過計算多模態(tài)圖像各像素之間的相似性，實現(xiàn)多模態(tài)圖像間特征點的檢測與匹配，提高識別的準確率。

為了實現(xiàn)上述目的，本發(fā)明提供如下技術方案：

一種多模態(tài)圖像特征點檢測與匹配方法，包括以下步驟：

S1、采集多模態(tài)圖像；

S2、提取多模態(tài)圖像的特征向量；

S3、計算多模態(tài)圖像的特征向量之間的內積矩陣，得到不同模態(tài)圖像之間的像素對相似度；

S4、對不同模態(tài)圖像的特征向量進行Softmax歸一化，得到相似度最高的像素對；

S5、通過預設相似度閾值篩選得到相似像素對，實現(xiàn)特征點的檢測與匹配。

可選的，S2采用HOG提取多模態(tài)圖像的特征向量，具體為：

S21、對多模態(tài)圖像進行灰度化處理，計算多模態(tài)圖像中各個像素的梯度；

S22、將多模態(tài)圖像劃分為多個單元；

S23、分別對多模態(tài)圖像中的各個單元進行梯度直方圖統(tǒng)計，獲得各個單元分別所對應的特征向量；

S24、將3×3個單元劃分為一個塊，將多模態(tài)圖像中各個塊中各個單元分別所對應的特征向量進行串聯(lián)，獲得多模態(tài)圖像中各個塊分別所對應的HOG特征；

S25、將多模態(tài)圖像中各個塊分別所對應的HOG特征進行串聯(lián)，構成多模態(tài)圖像的特征向量。

可選的，S3具體為：對于任意兩個模態(tài)的圖像，計算兩個模態(tài)圖像的特征向量的內積矩陣，特征向量的內積矩陣內的元素P_i代表兩個模態(tài)圖像的像素對x_i和y_i之間的相似度。

可選的，S4具體為：

對不同模態(tài)圖像的特征向量采用Softmax函數(shù)進行歸一化，得到不同模態(tài)圖像的歸一化向量：