[發(fā)明專利]一種基于差異注意力神經(jīng)網(wǎng)絡(luò)的多級別變化檢測方法、系統(tǒng)、介質(zhì)及電子設(shè)備

有效

• 申請?zhí)枺?/td>: 202110083681.2
• 申請日: 2021-01-21
• 公開（公告）號: CN112861931B
• 公開（公告）日: 2022-04-12
• 發(fā)明（設(shè)計(jì)）人: 程明明;梅杰;鄭一博
• 申請（專利權(quán)）人: 南開大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06V10/774;G06N3/04;G06T7/30
• 代理公司: 濟(jì)南圣達(dá)知識產(chǎn)權(quán)代理有限公司 37221
• 代理人: 祖之強(qiáng)

本公開提供了一種基于差異注意力神經(jīng)網(wǎng)絡(luò)的多級別變化檢測方法、系統(tǒng)、介質(zhì)及電子設(shè)備，基于多時(shí)序圖像融合技術(shù)，由自底向上網(wǎng)絡(luò)、差異引導(dǎo)的注意力模塊、自頂向下網(wǎng)絡(luò)構(gòu)成，差異引導(dǎo)的注意力模塊包含兩個(gè)串聯(lián)的分支，分別是雙時(shí)序聚合分支和差異注意力分支，前者用于學(xué)習(xí)雙時(shí)序圖像間的全局變化信息，后者用于探索圖像間多級別變化的局部關(guān)系，提高不同變化的判別能力；本公開改進(jìn)了U型網(wǎng)絡(luò)結(jié)構(gòu)中自底向上和自頂向下之間的特征學(xué)習(xí)過程，不僅保留了每個(gè)輸入特征圖的空間尺寸，而且實(shí)現(xiàn)了雙時(shí)序圖像間全局和局部差異信息的學(xué)習(xí)，可同時(shí)完成建筑物的分割和多級別損毀檢測兩個(gè)任務(wù)，顯著提高了變化檢測的效率和效果。

技術(shù)領(lǐng)域

本公開涉及圖像處理技術(shù)領(lǐng)域，特別涉及一種基于差異注意力神經(jīng)網(wǎng)絡(luò)的多級別變化檢測方法、系統(tǒng)、介質(zhì)及電子設(shè)備。

背景技術(shù)

本部分的陳述僅僅是提供了與本公開相關(guān)的背景技術(shù)，并不必然構(gòu)成現(xiàn)有技術(shù)。

近年來隨著計(jì)算機(jī)技術(shù)的不斷進(jìn)步，以及生活和工業(yè)中的廣泛需求，圖像處理技術(shù)得到了蓬勃的發(fā)展。圖像處理中的變化檢測技術(shù)用于檢測不同時(shí)序圖像間的變化，其被多用于分析土地覆蓋和地物類型的動(dòng)態(tài)變化。由于遙感圖像不僅能夠提供同一地區(qū)不同時(shí)序的圖像，而且獲取相對容易，這為變化檢測在多個(gè)領(lǐng)域的應(yīng)用提供了必要的支持，例如災(zāi)害評估、環(huán)境監(jiān)測、城市化評估，以及資源管理等領(lǐng)域。當(dāng)自然災(zāi)害發(fā)生時(shí)，為了及時(shí)的救助受災(zāi)人群并分配救災(zāi)物資，快速的評估災(zāi)害的嚴(yán)重性和范圍是非常關(guān)鍵的。然而目前的多數(shù)機(jī)構(gòu)采用人工分析災(zāi)前災(zāi)后遙感圖像的方式，費(fèi)時(shí)費(fèi)力且不適應(yīng)大尺度的區(qū)域。自動(dòng)變化檢測技術(shù)可以提高效率和精度，近幾年獲得了越來越多的關(guān)注和發(fā)展。

傳統(tǒng)的變化檢測研究多利用不同時(shí)序圖像間像素的差異來識別變化。這類方法一般是針對特定的數(shù)據(jù)而設(shè)計(jì)的，難以應(yīng)用到其他災(zāi)害或區(qū)域的圖像上。隨著深度學(xué)習(xí)的發(fā)展和商用GPU的普及，卷積神經(jīng)網(wǎng)絡(luò)(CNN)被廣泛應(yīng)用于計(jì)算機(jī)視覺中的多個(gè)任務(wù)，例如場景分類、語義分割、目標(biāo)探測、顯著性檢測等。卷積神經(jīng)網(wǎng)絡(luò)能夠提取低層次的紋理特征和高層次的語義特征，目前也有一些研究將卷積神經(jīng)網(wǎng)絡(luò)用于變化檢測，其中全卷積孿生神經(jīng)網(wǎng)絡(luò)是應(yīng)用最為廣泛的一種網(wǎng)絡(luò)結(jié)構(gòu)。

全卷積孿生網(wǎng)絡(luò)最早被提出應(yīng)用于視頻中的目標(biāo)跟蹤問題。在變化檢測任務(wù)中，全卷積孿生網(wǎng)絡(luò)包含兩個(gè)權(quán)重共享的神經(jīng)網(wǎng)絡(luò)，其中一個(gè)使用前時(shí)序的圖像進(jìn)行訓(xùn)練，另一個(gè)網(wǎng)絡(luò)基于前者的訓(xùn)練權(quán)重，利用后時(shí)序的圖像開展進(jìn)一步訓(xùn)練，最后輸出變化檢測的結(jié)果。由于U型全卷積網(wǎng)絡(luò)強(qiáng)大的特征提取能力，其在計(jì)算機(jī)視覺的多個(gè)任務(wù)中都獲得了較好的性能表現(xiàn)。典型的U型網(wǎng)絡(luò)結(jié)構(gòu)包含一個(gè)自底向上的分支，一個(gè)自頂向下的分支以及它們之間的多個(gè)連接。旨在推進(jìn)變化檢測的性能，U型結(jié)構(gòu)被用于全卷積孿生網(wǎng)絡(luò)，形成U型孿生網(wǎng)絡(luò)，這是目前在變化檢測任務(wù)中表現(xiàn)較好，應(yīng)用較多的一種網(wǎng)絡(luò)結(jié)構(gòu)。

發(fā)明人發(fā)現(xiàn)，已有的基于U型孿生網(wǎng)絡(luò)結(jié)構(gòu)的方法，需要經(jīng)過單獨(dú)的兩個(gè)訓(xùn)練步驟，過程較為繁瑣，需要的時(shí)間較多，且雙時(shí)序的圖像被分開訓(xùn)練，不能充分的利用其中的時(shí)序信息。此外，這些方法通常直接連接U型網(wǎng)絡(luò)結(jié)構(gòu)中自底向上和自頂向下兩個(gè)分支間相應(yīng)的階段，將高層次的特征經(jīng)過上采樣，直接與低層次的紋理特征相融合，而忽略了兩者之間的深層聯(lián)系。使用這樣的網(wǎng)絡(luò)結(jié)構(gòu)可以檢測出雙時(shí)序圖像間的變化，但卻不能識別出變化的尺度和等級，在實(shí)際應(yīng)用中的實(shí)用效果有限。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)的不足，本公開提供了一種基于差異注意力神經(jīng)網(wǎng)絡(luò)的多級別變化檢測方法、系統(tǒng)、介質(zhì)及電子設(shè)備，改進(jìn)了U型網(wǎng)絡(luò)結(jié)構(gòu)中自底向上和自頂向下之間的特征學(xué)習(xí)過程，不僅保留了每個(gè)輸入特征圖的空間尺寸，而且實(shí)現(xiàn)了雙時(shí)序圖像間全局和局部多級別差異信息的學(xué)習(xí)。

為了實(shí)現(xiàn)上述目的，本公開采用如下技術(shù)方案：

本公開第一方面提供了一種基于差異注意力神經(jīng)網(wǎng)絡(luò)的多級別變化檢測方法。

一種基于差異注意力神經(jīng)網(wǎng)絡(luò)的多級別變化檢測方法，包括以下步驟：

獲取待檢測的雙時(shí)序圖像數(shù)據(jù)；