[發(fā)明專利]一種基于上下文增強(qiáng)網(wǎng)絡(luò)的感知邊緣檢測方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010965729.8
• 申請(qǐng)日: 2020-09-15
• 公開（公告）號(hào): CN112070784B
• 公開（公告）日: 2022-07-01
• 發(fā)明（設(shè)計(jì)）人: 歐陽寧;韋羽;周宏敏;林樂平;莫建文;袁華
• 申請(qǐng)（專利權(quán)）人: 桂林電子科技大學(xué)
• 主分類號(hào): G06T7/13
• 分類號(hào): G06T7/13;G06V10/44;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 桂林市華杰專利商標(biāo)事務(wù)所有限責(zé)任公司 45112
• 代理人: 覃永峰

1.一種基于上下文增強(qiáng)網(wǎng)絡(luò)的感知邊緣檢測方法，其特征在于，包括如下步驟：

(1)獲取圖像訓(xùn)練數(shù)據(jù)集訓(xùn)練邊緣檢測模型：所述邊緣檢測模型包括特征提取過程、神經(jīng)網(wǎng)絡(luò)雙向遞歸過程和分類過程，具體為：

特征提取過程：將樣本圖像x映射為5組具有d維的特征，特征提取網(wǎng)絡(luò)由5個(gè)CSU模塊組成，作為一個(gè)可訓(xùn)練的特征提取網(wǎng)絡(luò)將輸入的樣本圖像x映射為5組具有21維的特征，即其中CSU模塊里包含橫向和縱向兩個(gè)支路，每個(gè)CSU模塊的縱向支路數(shù)N從前到后分別為{2,2,3,3,3}，縱向支路負(fù)責(zé)提取高維圖像特征，橫向支路負(fù)責(zé)進(jìn)行特征的聚合以及上采樣，過程通過公式(1)、公式(2)進(jìn)行表示：

其中，i為第i個(gè)CSU模塊，n為CSU模塊中第n個(gè)縱向支路卷積，W為縱向卷積核參數(shù)，卷積核大小統(tǒng)一為3×3，下同，dW為橫向卷積核參數(shù)，卷積核大小統(tǒng)一為1×1，Φ為Relu激活函數(shù)，up(·)為雙線性插值函數(shù)，聚合操作采用1×1卷積實(shí)現(xiàn)；

(2)將5個(gè)特征組[x₁,x₂,x₃,x₄,x₅]按照正反序列方向分別有序輸入到兩個(gè)遞歸神經(jīng)網(wǎng)絡(luò)，得到前向遞歸神經(jīng)網(wǎng)絡(luò)的5個(gè)特征輸出和后向遞歸神經(jīng)網(wǎng)絡(luò)的5個(gè)輸出其中遞歸神經(jīng)網(wǎng)絡(luò)由5個(gè)CLSTM單元串聯(lián)組成，CLSTM單元內(nèi)部設(shè)有三部分，分別為輸入單元i_t、輸出單元o_t、遺忘單元f_t，遞歸過程如下所示：

輸入：上一CLSTM單元的記憶特征c_t-1，當(dāng)前時(shí)刻輸入x_t，上一CLSTM單元輸出h_t-1，

2-1)由遺忘門f_t對(duì)上一CLSTM單元的記憶特征c_t-1進(jìn)行篩選，輸出c'為公式(3)：

c'＝f_t·c_t-1 (3)，

f_t＝σ(W_f*[x_t,h_t-1]+b_f) (4)，

其中W_f為1×1卷積權(quán)重，b_f為偏置項(xiàng)，x_t為當(dāng)前時(shí)刻輸入，h_t-1為上一CLSTM單元輸出，σ為Sigmoid激活函數(shù)，c_t-1為上一CLSTM單元的記憶特征，遺忘門旨在對(duì)上一單元的記憶特征選擇篩選，上一單元通過1×1卷積將x_t,h_t-1的特征信息進(jìn)行融合，經(jīng)過Sigmoid激活函數(shù)生成一張權(quán)重圖，并利用該權(quán)重圖對(duì)記憶特征進(jìn)行選擇和篩選；

2-2)由輸入門i_t對(duì)輸入特征進(jìn)行篩選，并與篩選后的記憶特征c'加權(quán)，得到當(dāng)前CLSTM單元的記憶特征c_t為公式(5)：

c_t＝c'+(1+i_t)×Φ(W_x*[x_t,h_t-1]+b_c) (5)，

i_t＝σ(W_i*[x_t,h_t-1]+b_i) (6)，

其中W_x、W_i為卷積權(quán)重，b_i、b_c為偏置項(xiàng)，Φ為Relu函數(shù)，σ為Sigmoid函數(shù)，*為卷積操作，輸入門旨在對(duì)輸入特征的重要性進(jìn)行建模，生成特征權(quán)重矩陣，對(duì)輸入特征進(jìn)行選擇性增強(qiáng)，當(dāng)前CLSTM單元通過1×1卷積將x_t，h_t-1的特征信息進(jìn)行融合，經(jīng)過Sigmoid激活函數(shù)生成一張權(quán)重圖，并利用該權(quán)重圖對(duì)融合后的輸入特征信息進(jìn)行選擇性增強(qiáng)；

2-3)由輸出門o_t對(duì)記憶特征進(jìn)行選擇性增強(qiáng)，得到當(dāng)前CLSTM輸出h_t為公式(7)：

h_t＝(o_t+1)×Φ(c_t) (7)，

o_t＝σ(W_o*[x_t,h_t-1]+b_o) (8)，

其中，Φ為Relu函數(shù)，σ為Sigmoid函數(shù)，*為卷積操作，W_o為卷積權(quán)重，b_o為偏置項(xiàng)；

輸出：當(dāng)前CLSTM單元的記憶特征c_t，當(dāng)前CLSTM單元輸出h_t；

(3)將得到的前向支路特征張量以及后向支路特征張量分別經(jīng)過卷積操作將特征通道數(shù)降至1，得到以及過程如公式(9)、公式(10)所示：

(4)將特征張量在維度1進(jìn)行通道拼接，得到張量so，采用1×1卷積對(duì)張量so進(jìn)行加權(quán)融合，經(jīng)過Sigmoid激活函數(shù)得到最終輸出sout為公式(11)：

sout＝W_so*so (11)，

(5)將分別經(jīng)過Sigmoid激活函數(shù)，得到10個(gè)支路輸出

(6)采用交叉熵l_w(X_i)計(jì)算所有輸出與標(biāo)簽的損失，通過最小化L_w損失優(yōu)化整體網(wǎng)絡(luò)，對(duì)多個(gè)標(biāo)簽進(jìn)行加權(quán)平均，并按照閥值θ對(duì)標(biāo)簽進(jìn)行劃分，以y_i＜θ的像素點(diǎn)為歧義點(diǎn)，不計(jì)算損失，y_i＝0為非邊緣點(diǎn)，y_i≥θ為邊緣點(diǎn)：

其中，

|Y⁺|和|Y^-|分別代表了每個(gè)batch中正樣本數(shù)量總和以及負(fù)樣本數(shù)量總和，超參數(shù)λ為正負(fù)樣本平衡參數(shù)，X表示網(wǎng)絡(luò)輸出，y_i為標(biāo)簽像素點(diǎn)，最終的損失函數(shù)為公式(16)：

為前向遞歸神經(jīng)網(wǎng)絡(luò)第k階段的輸出，為后向遞歸神經(jīng)網(wǎng)絡(luò)第k階段的輸出，sout是最終網(wǎng)絡(luò)的輸出值，|I|為圖像I的所有像素點(diǎn)數(shù)量；

(7)重復(fù)步驟(1)-步驟(6)，直到網(wǎng)絡(luò)收斂。