[發(fā)明專利]圖像特征匹配方法和相關(guān)裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110247181.8
• 申請(qǐng)日: 2021-03-05
• 公開(kāi)（公告）號(hào): CN112990228A
• 公開(kāi)（公告）日: 2021-06-18
• 發(fā)明（設(shè)計(jì)）人: 周曉巍;鮑虎軍;孫佳明;沈澤弘;王雨昂
• 申請(qǐng)（專利權(quán)）人: 浙江商湯科技開(kāi)發(fā)有限公司
• 主分類號(hào): G06K9/46
• 分類號(hào): G06K9/46;G06K9/62
• 代理公司: 深圳市威世博知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44280
• 代理人: 何倚雯

1.一種圖像特征匹配方法，其特征在于，包括：

獲取至少兩個(gè)待匹配圖像；

分別對(duì)每個(gè)所述待匹配圖像進(jìn)行特征提取，得到每個(gè)所述待匹配圖像的特征表示，其中，所述特征表示包括若干第一局部特征；

將所述第一局部特征變換為具有所述待匹配圖像的全局感受野的第一變換特征；

對(duì)所述至少兩個(gè)待匹配圖像中的所述第一變換特征進(jìn)行匹配，得到所述至少兩個(gè)待匹配圖像的第一匹配結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述特征表示包括第一特征圖和第二特征圖，所述第一特征圖的分辨率小于所述第二特征圖，所述第一特征圖中的特征為所述第一局部特征，所述第二特征圖的特征為第二局部特征；

在所述對(duì)所述至少兩個(gè)待匹配圖像中的所述第一變換特征進(jìn)行匹配，得到所述至少兩個(gè)待匹配圖像的第一匹配結(jié)果之后，所述方法還包括：

基于所述第一匹配結(jié)果，從所述至少兩個(gè)待匹配圖像的第二特征圖中提取匹配區(qū)塊組，其中，所述匹配區(qū)塊組包括至少兩個(gè)特征區(qū)塊，每個(gè)所述特征區(qū)塊包括從一所述待匹配圖像的第二特征圖提取得到的多個(gè)第二局部特征；

對(duì)所述匹配區(qū)塊組對(duì)應(yīng)的第二變換特征進(jìn)行匹配，得到所述至少兩個(gè)待匹配圖像的第二匹配結(jié)果，其中，所述第二變換特征為所述匹配區(qū)塊組中的第二局部特征，或是對(duì)所述匹配區(qū)塊組中的所述第二局部特征變換得到的。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，在所述對(duì)所述匹配區(qū)塊組對(duì)應(yīng)的第二變換特征進(jìn)行匹配，得到所述至少兩個(gè)待匹配圖像的第二匹配結(jié)果之前，所述方法還包括：

將所述特征區(qū)塊中的所述第二局部特征變換為具有所述特征區(qū)塊的全局感受野的第二變換特征。

4.根據(jù)權(quán)利要求1至3任一項(xiàng)所述的方法，其特征在于，所述將所述第一局部特征變換為具有所述待匹配圖像的全局感受野的第一變換特征，或者，所述將所述特征區(qū)塊中的所述第二局部特征變換為具有所述特征區(qū)塊的全局感受野的第二變換特征，包括：

以所述第一局部特征作為第一目標(biāo)特征，第一變換特征作為第二目標(biāo)特征，每個(gè)所述待匹配圖像為一目標(biāo)范圍；或者，以所述第二局部特征為第一目標(biāo)特征，所述第二變換特征作為第二目標(biāo)特征，每個(gè)所述特征區(qū)塊為一目標(biāo)范圍；

基于對(duì)同一所述目標(biāo)范圍中所述第一目標(biāo)特征的聚合處理和/或?qū)Σ煌瞿繕?biāo)范圍中的第一目標(biāo)特征的聚合處理，得到所述第二目標(biāo)特征。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述基于對(duì)同一所述目標(biāo)范圍中所述第一目標(biāo)特征的聚合處理和/或?qū)Σ煌瞿繕?biāo)范圍中的第一目標(biāo)特征的聚合處理，得到所述第二目標(biāo)特征，包括：

分別以每個(gè)所述目標(biāo)范圍作為當(dāng)前目標(biāo)范圍，并對(duì)所述當(dāng)前目標(biāo)范圍執(zhí)行以下至少一次特征變換：

將所述當(dāng)前目標(biāo)范圍中的每個(gè)第一目標(biāo)特征作為當(dāng)前目標(biāo)特征；

將所述當(dāng)前目標(biāo)范圍中的當(dāng)前目標(biāo)特征與其他所述第一目標(biāo)特征進(jìn)行聚合，以得到與所述當(dāng)前目標(biāo)特征對(duì)應(yīng)的第三目標(biāo)特征；

將所述當(dāng)前目標(biāo)范圍的第三目標(biāo)特征與其他所述目標(biāo)范圍的第三目標(biāo)特征進(jìn)行聚合，以得到與所述當(dāng)前目標(biāo)特征對(duì)應(yīng)的第四目標(biāo)特征；

其中，在本次特征變換不為最后一次特征變換的情況下，將所述第四目標(biāo)特征作為下次特征變換中的第一目標(biāo)特征；在本次特征變換為最后一次特征變換的情況下，將所述第四目標(biāo)特征作為所述第二目標(biāo)特征。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述將所述當(dāng)前目標(biāo)范圍中的當(dāng)前目標(biāo)特征與其他所述第一目標(biāo)特征進(jìn)行聚合的步驟由變換模型中的自注意力層執(zhí)行；

所述將所述當(dāng)前目標(biāo)范圍的第三目標(biāo)特征與其他所述目標(biāo)范圍的第三目標(biāo)特征進(jìn)行聚合的步驟由所述變換模型中的交叉注意力層執(zhí)行。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述自注意力層和/或交叉注意力層所使用的機(jī)制為線性注意力機(jī)制。