[發(fā)明專利]基于卷積神經(jīng)網(wǎng)絡(luò)和Transformer的河湖遙感圖像分割方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110500108.7
• 申請(qǐng)日: 2021-05-08
• 公開（公告）號(hào): CN113191285B
• 公開（公告）日: 2023-01-20
• 發(fā)明（設(shè)計(jì)）人: 楊公平;劉一錕;孫啟玉;鄧青;李紅超;郭偉
• 申請(qǐng)（專利權(quán)）人: 山東大學(xué);山東鋒士信息技術(shù)有限公司
• 主分類號(hào): G06V20/13
• 分類號(hào): G06V20/13;G06V10/28;G06V10/44;G06V10/764;G06N3/0464;G06N3/047;G06N3/08
• 代理公司: 濟(jì)南圣達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 37221
• 代理人: 閆偉姣

1.一種基于卷積神經(jīng)網(wǎng)絡(luò)和Transformer的河湖遙感圖像分割方法，其特征在于，包括：

獲取包含類別標(biāo)簽的河湖遙感圖像，構(gòu)建訓(xùn)練集；

對(duì)訓(xùn)練集采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行多層特征圖的提取；采用殘差網(wǎng)絡(luò)ResNet-50V1c作為特征提取網(wǎng)絡(luò)對(duì)訓(xùn)練集進(jìn)行多層特征圖的提取，得到四層特征圖；

對(duì)提取的最后一層特征圖采用Transformer編碼器提取注意力特征，對(duì)注意力特征采用Transformer解碼器得到自注意力特征圖；所述Transformer編碼器中設(shè)置用于學(xué)習(xí)類別的類別標(biāo)記和用于記錄位置的位置標(biāo)記，將最后一層特征圖進(jìn)行尺寸變形后與類別標(biāo)記拼接，再與位置標(biāo)記相加，將得到的向量輸入至全連接層，得到三個(gè)向量；基于全連接層的三個(gè)向量通過自注意力模塊得到注意力特征，包括：計(jì)算向量Q和向量K的相似度，得到向量K對(duì)應(yīng)向量V的權(quán)重后對(duì)向量V進(jìn)行加權(quán)；

所述Transformer編碼器還包括多層感知器，多層感知器包含兩層線性連接層和一層Relu激活函數(shù)，將注意力特征輸入到多層感知器得到Transformer編碼器的結(jié)果；

對(duì)自注意力特征圖與第一層特征圖進(jìn)行拼接后訓(xùn)練圖像分割模型；

自注意力特征圖與第一層特征圖進(jìn)行拼接的過程包括：對(duì)自注意力特征圖進(jìn)行尺寸變形，經(jīng)一層上采樣后與第一層特征圖拼接，拼接后經(jīng)一層卷積核尺寸為1的卷積層得到用于訓(xùn)練的特征圖；

基于訓(xùn)練后的圖像分割模型得到待測(cè)河湖遙感圖像中目標(biāo)的類別分割結(jié)果。

2.如權(quán)利要求1所述的基于卷積神經(jīng)網(wǎng)絡(luò)和Transformer的河湖遙感圖像分割方法，其特征在于，對(duì)訓(xùn)練集進(jìn)行預(yù)處理，所述預(yù)處理過程包括：將訓(xùn)練集和類別標(biāo)簽進(jìn)行尺寸縮放，尺寸縮放后進(jìn)行裁剪，得到正方形圖塊，根據(jù)正方形圖塊RGB通道的均值和標(biāo)準(zhǔn)差，進(jìn)行圖塊標(biāo)準(zhǔn)化。

3.一種基于卷積神經(jīng)網(wǎng)絡(luò)和Transformer的河湖遙感圖像分割系統(tǒng)，其特征在于，包括：

數(shù)據(jù)獲取模塊，被配置為獲取包含類別標(biāo)簽的河湖遙感圖像，構(gòu)建訓(xùn)練集；

特征圖提取模塊，被配置為對(duì)訓(xùn)練集采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行多層特征圖的提取；采用殘差網(wǎng)絡(luò)ResNet-50V1c作為特征提取網(wǎng)絡(luò)對(duì)訓(xùn)練集進(jìn)行多層特征圖的提取，得到四層特征圖；

Transformer模塊，被配置為對(duì)提取的最后一層特征圖采用Transformer編碼器提取注意力特征，對(duì)注意力特征采用Transformer解碼器得到自注意力特征圖；所述Transformer編碼器中設(shè)置用于學(xué)習(xí)類別的類別標(biāo)記和用于記錄位置的位置標(biāo)記，將最后一層特征圖進(jìn)行尺寸變形后與類別標(biāo)記拼接，再與位置標(biāo)記相加，將得到的向量輸入至全連接層，得到三個(gè)向量；基于全連接層的三個(gè)向量通過自注意力模塊得到注意力特征，包括：計(jì)算向量Q和向量K的相似度，得到向量K對(duì)應(yīng)向量V的權(quán)重后對(duì)向量V進(jìn)行加權(quán)；

所述Transformer編碼器還包括多層感知器，多層感知器包含兩層線性連接層和一層Relu激活函數(shù)，將注意力特征輸入到多層感知器得到Transformer編碼器的結(jié)果；

模型訓(xùn)練模塊，被配置為對(duì)自注意力特征圖與第一層特征圖進(jìn)行拼接后訓(xùn)練圖像分割模型；自注意力特征圖與第一層特征圖進(jìn)行拼接的過程包括：對(duì)自注意力特征圖進(jìn)行尺寸變形，經(jīng)一層上采樣后與第一層特征圖拼接，拼接后經(jīng)一層卷積核尺寸為1的卷積層得到用于訓(xùn)練的特征圖；

圖像分割模塊，被配置為基于訓(xùn)練后的圖像分割模型得到待測(cè)河湖遙感圖像中目標(biāo)的類別分割結(jié)果。

4.一種電子設(shè)備，其特征在于，包括存儲(chǔ)器和處理器以及存儲(chǔ)在存儲(chǔ)器上并在處理器上運(yùn)行的計(jì)算機(jī)指令，所述計(jì)算機(jī)指令被處理器運(yùn)行時(shí)，完成權(quán)利要求1-2任一項(xiàng)所述的方法。

5.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，用于存儲(chǔ)計(jì)算機(jī)指令，所述計(jì)算機(jī)指令被處理器執(zhí)行時(shí)，完成權(quán)利要求1-2任一項(xiàng)所述的方法。