[發明專利]一種基于單流深度網絡的RGB-D顯著目標檢測方法

有效

• 申請號: 201811403402.0
• 申請日: 2018-11-23
• 公開（公告）號: CN109598268B
• 公開（公告）日: 2021-08-17
• 發明（設計）人: 劉政怡;段群濤;石松
• 申請（專利權）人: 安徽大學
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06N3/04;G06N3/08
• 代理公司: 合肥興東知識產權代理有限公司 34148
• 代理人: 王偉

1.一種基于單流深度網絡的RGB-D顯著目標檢測方法，其特征在于，該方法包括以下步驟：

S1、將RGB圖像和Depth圖像作為單流深度網絡的四通道輸入；

S2、將VGG16作為基礎網絡，利用Conv5_3提取圖像的高維特征，對高維特征進行操作，經過卷積、反卷積和卷積得到初始顯著圖；

S3、將初始顯著圖，以及Depth數據作為DRCNN循環卷積結構的輸入；DRCNN通過級聯的方式，一步一步優化顯著結果，詳細描繪顯著目標的邊緣信息；最后連接一個權值融合層，通過自動學習權值，將顯著結果融合并通過激勵函數得到最終顯著圖；在所述步驟S3中:所述DRCNN的輸入有4個，分別為上一個DRCNN的輸出結果本層的特征初始顯著圖以及Depth深度信息d，其核心是循環卷積層RCL，在第m個RCL的第k個特征圖的第(i,j)個單元上，它在t時刻的網絡輸入z_ijk(t)表示為：

其中和分別為前一層的前饋輸入以及當前層在t-1時刻的循環輸入，和分別表示為前饋權值和循環權值，為偏置，C表示卷積操作，表示聯結操作，函數表示去除重復的輸入，用在Conv5_3的側邊輸出的DRCNN中，因為這一層的與是相同的，通過該函數去除重復輸入；

網絡輸入的激勵函數表示為：

x_ijk^m(t)＝g(f(z_ijk^m(t))) (3)；

其中f為修正線性單元ReLU，具體定義為：

f(z_ijk^m(t))＝max(z_ijk^m(t),0) (4)；

其中g為局部響應歸一化操作，目的是為了防止狀態爆炸，定義為：

其中f(z_ijk^m(t))簡寫為f_ijk^m(t)，k為特征圖總數，N為關聯歸一化的局部鄰居特征圖的數目，α和β控制歸一化的振幅；最終顯著圖的定義為：

p^m＝σ(C(g)) (6)；

其中σ為激勵函數，g為g(f_ijk^m(t))的簡寫。

2.根據權利要求1所述的基于單流深度網絡的RGB-D顯著目標檢測方法，其特征在于，在所述步驟S2中：由損失函數計算損失，調整網絡參數，通過多次迭代形成穩定的網絡結構。

3.根據權利要求2所述的基于單流深度網絡的RGB-D顯著目標檢測方法，其特征在于，所述損失函數為SigmoidCrossEntropyLoss。

4.根據權利要求2所述的基于單流深度網絡的RGB-D顯著目標檢測方法，其特征在于，所述網絡結構包含五個側邊輸出子網絡和一個直接輸出子網絡。

5.根據權利要求2所述的基于單流深度網絡的RGB-D顯著目標檢測方法，其特征在于，所述網絡結構的具體訓練過程為：在訓練中，T＝{(X_n,Y_n),n＝1,2,...,N}為訓練數據集，作為輸入，X_n對應的真值圖為其中，為第n張原圖片中第i個像素點，為第n張顯著圖片中第i個像素點，|X_n|為X_n中像素點個數，|Y_n|為Y_n中像素點個數；在實驗中，W為基礎網絡VGG16的參數，M＝6為側邊輸出的數量；每一個側邊輸出子網絡對應一個顯著輸出結果，對應的權值定義為：

w＝(w¹,w²,...,w^M) (7)；

對每一個訓練集輸入和真值圖的所有像素使用交叉熵損失來計算損失函數，對第m階段的預測，損失函數的定義為：

其中，Pr(y_i＝1|X；W,w^m)為在第m個側邊輸出的第i個位置的像素屬于前景的概率，w^m為第m個側邊輸出的權值；對最后的權值融合層的損失函數定義為：

L_fuse(W,w,w^f)＝-∑_i∈Yy_ilogPr(y_i＝1|X；W,w,w^f)+(1-y_i)logPr(y_i＝0|X；W,w,w^f) (9)；其中，w^f為權值融合層過濾器參數，f為fuse融合；所有預測的聯合損失函數定義為：

其中，δ_f和δ_m表示為平衡每個損失項的損失權值，計算所有損失函數后，最小化目標損失函數定義為：

(W,w,w^f)^*＝argmin(L(W,w,w^f)) (11)。