[發(fā)明專利]一種基于差異注意力神經(jīng)網(wǎng)絡(luò)的多級別變化檢測方法、系統(tǒng)、介質(zhì)及電子設(shè)備

有效

• 申請?zhí)枺?/td>: 202110083681.2
• 申請日: 2021-01-21
• 公開（公告）號: CN112861931B
• 公開（公告）日: 2022-04-12
• 發(fā)明（設(shè)計）人: 程明明;梅杰;鄭一博
• 申請（專利權(quán)）人: 南開大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06V10/774;G06N3/04;G06T7/30
• 代理公司: 濟(jì)南圣達(dá)知識產(chǎn)權(quán)代理有限公司 37221
• 代理人: 祖之強(qiáng)

1.一種基于差異注意力神經(jīng)網(wǎng)絡(luò)的多級別變化檢測方法，其特征在于：包括以下步驟：

獲取待檢測的雙時序圖像數(shù)據(jù)；

將獲取的圖像數(shù)據(jù)輸入到預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)模型中，得到雙時序圖像間的變化檢測結(jié)果；

其中，預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)模型包括自底向上網(wǎng)絡(luò)、差異引導(dǎo)的注意力模塊和自頂向下網(wǎng)絡(luò)，差異引導(dǎo)的注意力模塊包括相互串聯(lián)的雙時序聚合分支和差異注意力分支；

雙時序聚合分支對前時序圖像和后時序圖像的特征進(jìn)行轉(zhuǎn)換處理，差異注意力分支對雙時序聚合分支輸出的特征進(jìn)行自注意機(jī)制學(xué)習(xí)，差異引導(dǎo)的注意力模塊輸出的特征經(jīng)過兩兩融合輸入自頂向下網(wǎng)絡(luò)。

2.如權(quán)利要求1所述的基于差異注意力神經(jīng)網(wǎng)絡(luò)的多級別變化檢測方法，其特征在于：

自底向上網(wǎng)絡(luò)采用預(yù)訓(xùn)練權(quán)重對輸入的雙時序圖像進(jìn)行特征提取。

3.如權(quán)利要求1所述的基于差異注意力神經(jīng)網(wǎng)絡(luò)的多級別變化檢測方法，其特征在于：

自底向上網(wǎng)絡(luò)采用ResNet101模型，將自底向上網(wǎng)絡(luò)劃分為五個階段，將雙時序圖像輸入到自底向上網(wǎng)絡(luò)中，從五個階段分別提取出兩個時序的五個特征。

4.如權(quán)利要求3所述的基于差異注意力神經(jīng)網(wǎng)絡(luò)的多級別變化檢測方法，其特征在于：

自頂向下網(wǎng)絡(luò)的第一階段，直接經(jīng)過一個3×3卷積層和一個上采樣操作，不與底層特征拼接。

5.如權(quán)利要求1所述的基于差異注意力神經(jīng)網(wǎng)絡(luò)的多級別變化檢測方法，其特征在于：

在雙時序聚合分支中：

兩個時序圖像的特征會各自經(jīng)過一個1×1卷積層來對通道數(shù)進(jìn)行調(diào)節(jié)，前時序圖像的特征會通過一個額外的3×3通道卷積層，來對雙時序圖像間的差異進(jìn)行轉(zhuǎn)換處理；

將兩個時序圖像的特征作差，并將多種特征聚合來學(xué)習(xí)全局差異信息；

經(jīng)過全局平均池化、全連接層以及Sigmoid函數(shù)來對聚合后的特征進(jìn)行校準(zhǔn)。

6.如權(quán)利要求1所述的基于差異注意力神經(jīng)網(wǎng)絡(luò)的多級別變化檢測方法，其特征在于：

差異注意力分支中：

雙時序聚合分支輸出的特征經(jīng)過劃分和重新排列的處理，生成四維的特征圖；

利用成組自注意機(jī)制來學(xué)習(xí)多種變化之間的關(guān)系和相似性；

經(jīng)過排列，使其形狀變?yōu)樵瓉淼娜S特征圖。

7.如權(quán)利要求1所述的基于差異注意力神經(jīng)網(wǎng)絡(luò)的多級別變化檢測方法，其特征在于：

自頂向下網(wǎng)絡(luò)中：

將差異引導(dǎo)的注意力模塊輸出的各個特征輸入到自頂向下網(wǎng)絡(luò)中；

高層特征經(jīng)過一個3×3卷積層和一個上采樣操作，與相應(yīng)的底層特征作沿著通道維度的拼接，之后經(jīng)過一個3×3卷積層繼續(xù)傳遞；

最終經(jīng)過一個1×1卷積層并輸出多個通道的預(yù)測圖。

8.一種基于差異注意力神經(jīng)網(wǎng)絡(luò)的多級別變化檢測系統(tǒng)，其特征在于：包括：

數(shù)據(jù)獲取模塊，被配置為：獲取待檢測的雙時序圖像數(shù)據(jù)；

變化檢測模塊，被配置為：將獲取的圖像數(shù)據(jù)輸入到預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)模型中，得到雙時序圖像間的變化檢測結(jié)果；

其中，預(yù)設(shè)神經(jīng)網(wǎng)絡(luò)模型包括自底向上網(wǎng)絡(luò)、差異引導(dǎo)的注意力模塊和自頂向下網(wǎng)絡(luò)，差異引導(dǎo)的注意力模塊包括相互串聯(lián)的雙時序聚合分支和差異注意力分支；

雙時序聚合分支對前時序圖像和后時序圖像的特征進(jìn)行轉(zhuǎn)換處理，差異注意力分支對雙時序聚合分支輸出的特征進(jìn)行自注意機(jī)制學(xué)習(xí)，差異引導(dǎo)的注意力模塊輸出的特征經(jīng)過兩兩融合輸入自頂向下網(wǎng)絡(luò)。

9.一種計算機(jī)可讀存儲介質(zhì)，其上存儲有程序，其特征在于，該程序被處理器執(zhí)行時實現(xiàn)如權(quán)利要求1-7任一項所述的基于差異注意力神經(jīng)網(wǎng)絡(luò)的多級別變化檢測方法中的步驟。

10.一種電子設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運(yùn)行的程序，其特征在于，所述處理器執(zhí)行所述程序時實現(xiàn)如權(quán)利要求1-7任一項所述的基于差異注意力神經(jīng)網(wǎng)絡(luò)的多級別變化檢測方法中的步驟。