[發(fā)明專利]一種多模態(tài)圖像特征點(diǎn)檢測與匹配方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202310048120.8
• 申請日: 2023-01-31
• 公開（公告）號(hào): CN116012615A
• 公開（公告）日: 2023-04-25
• 發(fā)明（設(shè)計(jì)）人: 李玉斌;李明秋;郝子強(qiáng);蔣一純;詹偉達(dá)
• 申請（專利權(quán)）人: 長春理工大學(xué)
• 主分類號(hào): G06V10/74
• 分類號(hào): G06V10/74;G06V10/75
• 代理公司: 北京博海嘉知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 16007
• 代理人: 郝彥東

1.一種多模態(tài)圖像特征點(diǎn)檢測與匹配方法，其特征在于，包括以下步驟：

S1、采集多模態(tài)圖像；

S2、提取多模態(tài)圖像的特征向量；

S3、計(jì)算多模態(tài)圖像的特征向量之間的內(nèi)積矩陣，得到不同模態(tài)圖像之間的像素對相似度；

S4、對不同模態(tài)圖像的特征向量進(jìn)行Softmax歸一化，得到相似度最高的像素對；

S5、通過預(yù)設(shè)相似度閾值篩選得到相似像素對，實(shí)現(xiàn)特征點(diǎn)的檢測與匹配。

2.根據(jù)權(quán)利要求1所述的一種多模態(tài)圖像特征點(diǎn)檢測與匹配方法，其特征在于，S2采用HOG提取多模態(tài)圖像的特征向量，具體為：

S21、對多模態(tài)圖像進(jìn)行灰度化處理，計(jì)算多模態(tài)圖像中各個(gè)像素的梯度；

S22、將多模態(tài)圖像劃分為多個(gè)單元；

S23、分別對多模態(tài)圖像中的各個(gè)單元進(jìn)行梯度直方圖統(tǒng)計(jì)，獲得各個(gè)單元分別所對應(yīng)的特征向量；

S24、將3×3個(gè)單元?jiǎng)澐譃橐粋€(gè)塊，將多模態(tài)圖像中各個(gè)塊中各個(gè)單元分別所對應(yīng)的特征向量進(jìn)行串聯(lián)，獲得多模態(tài)圖像中各個(gè)塊分別所對應(yīng)的HOG特征；

S25、將多模態(tài)圖像中各個(gè)塊分別所對應(yīng)的HOG特征進(jìn)行串聯(lián)，構(gòu)成多模態(tài)圖像的特征向量。

3.根據(jù)權(quán)利要求1所述的一種多模態(tài)圖像特征點(diǎn)檢測與匹配方法，其特征在于，S3具體為：對于任意兩個(gè)模態(tài)的圖像，計(jì)算兩個(gè)模態(tài)圖像的特征向量的內(nèi)積矩陣，特征向量的內(nèi)積矩陣內(nèi)的元素P_i代表兩個(gè)模態(tài)圖像的像素對x_i和y_i之間的相似度。

4.根據(jù)權(quán)利要求3所述的一種多模態(tài)圖像特征點(diǎn)檢測與匹配方法，其特征在于，S4具體為：

對不同模態(tài)圖像的特征向量采用Softmax函數(shù)進(jìn)行歸一化，得到不同模態(tài)圖像的歸一化向量：

式中，x_i和x_j分別為特征向量內(nèi)第i和第j個(gè)元素，對不同模態(tài)圖像的歸一化向量之間進(jìn)行點(diǎn)乘，得到歸一化矩陣，根據(jù)歸一化矩陣和特征向量的內(nèi)積矩陣得到相似度最高的像素對。

5.根據(jù)權(quán)利要求1所述的一種多模態(tài)圖像特征點(diǎn)檢測與匹配方法，其特征在于，S5具體為：根據(jù)預(yù)設(shè)相似度閾值進(jìn)行篩選，將相似度大于相似度閾值的像素對作為特征點(diǎn)，實(shí)現(xiàn)特征點(diǎn)的檢測與匹配。

6.一種多模態(tài)圖像特征點(diǎn)檢測與匹配系統(tǒng)，其特征在于，應(yīng)用權(quán)利要求1-5任一項(xiàng)所述的一種多模態(tài)圖像特征點(diǎn)檢測與匹配方法，包括：圖像采集模塊、特征提取模塊、相似度計(jì)算模塊、歸一化模塊、特征點(diǎn)檢測模塊；

圖像采集模塊，與特征提取模塊連接，用于采集多模態(tài)圖像；

特征提取模塊，與相似度計(jì)算模塊連接，用于提取多模態(tài)圖像的特征向量；

相似度計(jì)算模塊，與歸一化模塊連接，用于計(jì)算多模態(tài)圖像的特征向量之間的內(nèi)積矩陣，得到不同模態(tài)圖像之間的像素對相似度；

歸一化模塊，與特征點(diǎn)檢測模塊連接，用于對不同模態(tài)圖像的特征向量進(jìn)行Softmax歸一化，得到相似度最高的像素對；

特征點(diǎn)檢測模塊，通過預(yù)設(shè)相似度閾值篩選得到相似像素對，實(shí)現(xiàn)特征點(diǎn)的檢測與匹配。