[發(fā)明專利]訓(xùn)練圖像配準(zhǔn)模型的方法、裝置和電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202011541901.3
• 申請日: 2020-12-23
• 公開（公告）號: CN112561973A
• 公開（公告）日: 2021-03-26
• 發(fā)明（設(shè)計）人: 龍勇志
• 申請（專利權(quán)）人: 維沃移動通信有限公司
• 主分類號: G06T7/33
• 分類號: G06T7/33
• 代理公司: 北京潤澤恒知識產(chǎn)權(quán)代理有限公司 11319
• 代理人: 喬珊珊

本申請公開了一種訓(xùn)練圖像配準(zhǔn)模型的方法、裝置和電子設(shè)備，屬于圖像處理領(lǐng)域。其中方法包括：獲取包含已配準(zhǔn)的圖像對的數(shù)據(jù)集；對數(shù)據(jù)集中的每個圖像對進行剪切，得到目標(biāo)圖像塊對；計算目標(biāo)圖像塊對中兩個圖像塊對應(yīng)的第一變換矩陣；將目標(biāo)圖像塊對作為訓(xùn)練數(shù)據(jù)，依次輸入初始的圖像配準(zhǔn)模型，以得到目標(biāo)圖像塊對的配準(zhǔn)圖像對，以及得到所述配準(zhǔn)圖像對中兩個圖像塊對應(yīng)的第二變換矩陣，圖像配準(zhǔn)模型為深度神經(jīng)網(wǎng)絡(luò)模型；根據(jù)預(yù)設(shè)損失函數(shù)計算第一變換矩陣與第二變換矩陣之間的差異值，并根據(jù)計算的差異值更新圖像配準(zhǔn)模型的網(wǎng)絡(luò)參數(shù)，直到計算的差異值小于預(yù)設(shè)閾值，得到訓(xùn)練完成的圖像配準(zhǔn)模型。本申請可提升紅外圖像與可見光圖像的配準(zhǔn)精度。

技術(shù)領(lǐng)域

本申請屬于圖像處理技術(shù)領(lǐng)域，具體涉及一種訓(xùn)練圖像配準(zhǔn)模型的方法、裝置和電子設(shè)備。

背景技術(shù)

隨著傳感器成像技術(shù)的迅猛發(fā)展，單一傳感器成像難以滿足日常應(yīng)用需求，多傳感器成像已引領(lǐng)技術(shù)革新。圖像融合是指將多個傳感器探測的圖像信息綜合處理后，實現(xiàn)對探測場景更全面、更可靠的描述。

紅外與可見光作為圖像處理領(lǐng)域最廣泛應(yīng)用的圖像類型，紅外圖像可以高效捕捉場景熱輻射且辨識場景高亮目標(biāo)，可見光圖像具有高分辨率特性可呈現(xiàn)場景細(xì)節(jié)紋理信息，二者圖像信息具有高效互補性。因此對紅外圖像和可見光圖像進行融合，可以獲得豐富場景信息量的融合圖像，能夠?qū)鼍氨尘昂湍繕?biāo)進行清晰準(zhǔn)確的描述。

圖像配準(zhǔn)是指將不同時間、不同傳感器(成像設(shè)備)或不同條件下(天候、照度、攝像位置和角度等)獲取的兩幅或多幅圖像進行匹配、對齊的過程。圖像配準(zhǔn)作為圖像融合任務(wù)不可或缺的前提處理流程，也是圖像融合任務(wù)的性能保障，圖像配準(zhǔn)的精準(zhǔn)程度將直接影響圖像融合的效果。然而，在紅外圖像和可見光圖像來自不同傳感器的情況下，因不同傳感器成像原理存在較大差異，二者圖像成像像素灰度值以及對比度存在較大差異，基于特征的圖像配準(zhǔn)算法往往有效特征點對較少，導(dǎo)致圖像配準(zhǔn)產(chǎn)生較大的誤差偏移，進而導(dǎo)致最終的融合圖像出現(xiàn)重影或者模糊，影響圖像融合的效果。

發(fā)明內(nèi)容

本申請實施例的目的是提供一種訓(xùn)練圖像配準(zhǔn)模型的方法，能夠解決現(xiàn)有技術(shù)圖像配準(zhǔn)產(chǎn)生較大的誤差偏移的問題。

為了解決上述技術(shù)問題，本申請是這樣實現(xiàn)的：

第一方面，本申請實施例提供了一種訓(xùn)練圖像配準(zhǔn)模型的方法，該方法包括：

獲取包含已配準(zhǔn)的圖像對的數(shù)據(jù)集，其中，每個圖像對包含同一場景下的可見光圖像和紅外圖像；

對所述數(shù)據(jù)集中的每個圖像對進行剪切，得到目標(biāo)圖像塊對，所述目標(biāo)圖像塊對包括從可見光圖像中剪切的第一圖像塊和從紅外圖像中剪切的第二圖像塊，所述第一圖像塊與所述第二圖像塊對應(yīng)圖像對中相同的位置且存在預(yù)設(shè)的隨機偏移量；

計算所述目標(biāo)圖像塊對中兩個圖像塊對應(yīng)的第一變換矩陣；

將所述目標(biāo)圖像塊對作為訓(xùn)練數(shù)據(jù)，依次輸入初始的圖像配準(zhǔn)模型，以得到所述目標(biāo)圖像塊對的配準(zhǔn)圖像對，以及得到所述配準(zhǔn)圖像對中兩個圖像塊對應(yīng)的第二變換矩陣，所述圖像配準(zhǔn)模型為深度神經(jīng)網(wǎng)絡(luò)模型；

根據(jù)預(yù)設(shè)損失函數(shù)計算所述第一變換矩陣與所述第二變換矩陣之間的差異值，并根據(jù)計算的差異值更新所述圖像配準(zhǔn)模型的網(wǎng)絡(luò)參數(shù)，直到計算的差異值小于預(yù)設(shè)閾值，得到訓(xùn)練完成的圖像配準(zhǔn)模型。

第二方面，本申請實施例提供了一種訓(xùn)練圖像配準(zhǔn)模型的裝置，該裝置包括：

數(shù)據(jù)集獲取模塊，用于獲取包含已配準(zhǔn)的圖像對的數(shù)據(jù)集，其中，每個圖像對包含同一場景下的可見光圖像和紅外圖像；

圖像剪切模塊，用于對所述數(shù)據(jù)集中的每個圖像對進行剪切，得到目標(biāo)圖像塊對，所述目標(biāo)圖像塊對包括從可見光圖像中剪切的第一圖像塊和從紅外圖像中剪切的第二圖像塊，所述第一圖像塊與所述第二圖像塊對應(yīng)圖像對中相同的位置且存在預(yù)設(shè)的隨機偏移量；