[發明專利]基于邊界感知神經網絡的雙目顯著物體檢測方法

有效

• 申請號: 201910764582.3
• 申請日: 2019-08-19
• 公開（公告）號: CN110570402B
• 公開（公告）日: 2021-11-19
• 發明（設計）人: 周武杰;陳昱臻;雷景生;李顏娥;王海江;何成
• 申請（專利權）人: 浙江科技學院
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/155
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 林超

1.基于邊界感知神經網絡的雙目顯著物體檢測方法，其特征在于：

步驟1：選取K張彩色圖以及彩色圖對應的視差圖、分割標簽圖，將所有彩色圖像及其對應的視差圖、分割標簽圖構成訓練集；分割標簽圖是指對彩色圖中的顯著性區域進行標注得到的圖像；

步驟2：構建邊界感知神經網絡；

所述的邊界感知神經網絡包括特征提取網絡塊、注意力機制網絡塊、邊界感知網絡塊和顯著性檢測網絡塊；

特征提取網絡塊包括依次連接的第一個卷積神經網絡塊、第二個卷積神經網絡塊、第一個最大池化層、第三個卷積神經網絡塊、第四個卷積神經網絡塊、第二個最大池化層、第五個卷積神經網絡塊、第六個卷積神經網絡塊、第七個卷積神經網絡塊、第三個最大池化層、第八個卷積神經網絡塊、第九個卷積神經網絡塊、第十個卷積神經網絡塊、第四個最大池化層、第十一個卷積神經網絡塊、第十二個卷積神經網絡塊和第十三個卷積神經網絡塊；

注意力機制網絡塊包括第一個SEM網絡塊，第二個SEM網絡塊，第三個SEM網絡塊以及依次連接的第一個add層、第十四個卷積神經網絡塊，第一個上采樣層，第十五個卷積神經網絡塊、第二個上采樣層、第十六個卷積神經網絡塊、第三個上采樣層，第十七個卷積神經網絡塊、第四個上采樣層和第十八個卷積神經網絡塊，彩色圖輸入到第一個卷積神經網絡塊中，第十一個卷積神經網絡塊、第十二個卷積神經網絡塊和第十三個卷積神經網絡塊的輸出分別對應連接到第一個SEM網絡塊，第二個SEM網絡塊和第三個SEM網絡塊的輸入，三個SEM網絡塊的輸出共同連接到第一個add層的輸入；

邊界感知網絡塊包括第十九個卷積神經網絡塊、第二十個卷積神經網絡塊、以及依次連接的第一個疊加層、第一個點乘層、第二個add層、第一個MSK網絡塊、第二個MSK網絡塊、第二十一個卷積神經網絡塊、第二十二個卷積神經網絡塊，彩色圖及其對應的視差圖分別作為第二十個卷積神經網絡塊和第十九個卷積神經網絡塊的輸入，第十九個卷積神經網絡塊和第二十個卷積神經網絡塊的輸出共同連接到第一個疊加層的輸入，第十八個卷積神經網絡塊的輸出連接到第一個點乘層的輸入，第一個疊加層與第十八個卷積神經網絡塊的輸出輸入到第一個點乘層中進行點乘處理后作為第一個點乘層的輸出，第一個疊加層的輸出再跳躍連接到第二個add層的輸入，第一個點乘層和第一個疊加層的輸出輸入到第二個add層中進行點和處理后作為第二個add層的輸出，第二十二個卷積神經網絡塊輸出邊界預測圖；

顯著性檢測網絡塊包括依次連接的第二個點乘層、第三個add層、第二十三個卷積神經網絡塊、第五個上采樣層、第二個疊加層、第二十四個卷積神經網絡塊、第六個上采樣層、第二十五個卷積神經網絡塊和第二十六個卷積神經網絡塊，第二個點乘層的輸入連接到第七個卷積神經網絡塊的輸出，第二個點乘層的輸入還連接到第十六個卷積神經網絡塊的輸出，第七個卷積神經網絡塊與第十六個卷積神經網絡塊的輸出輸入到第二個點乘層中進行點乘處理后作為第二個點乘層的輸出，第七個卷積神經網絡塊的輸出再跳躍連接到第三個add層的輸入，第七個卷積神經網絡塊和第二個點乘層的輸出再輸入到第三個add層中進行點和處理后作為第二個add層的輸出，第四個卷積神經網絡塊的輸出還連接到第二個疊加層的輸入，第五個上采樣層和第四個神經網絡塊的輸出輸入到第二個疊加層進行特征圖的疊加后作為第二個疊加層的輸出；第二十六個卷積神經網絡塊輸出顯著性預測圖；

第二十一個卷積神經網絡塊的輸出和第二十五個卷積神經網絡塊的輸出經第三個疊加層依次連接第二十七個卷積神經網絡塊和第二十八個卷積神經網絡塊，第二十八個卷積神經網絡塊輸出分割預測圖；

所述的三個SEM網絡塊的結構相同，單個SEM網絡塊包括Cov、Cov1、Cov2、Cov3、CovOut五個卷積網絡塊，每個卷積網絡塊均由卷積層、局部歸一化層、激活層依次連接構成，Cov卷積網絡塊的輸入作為SEM網絡塊的輸入，Cov1、Cov2、Cov3三個卷積網絡塊并聯的一端作為輸入端，輸入端與Cov卷積網絡塊相連并接收Cov卷積網絡塊的輸出，并聯的一端作為輸出端，Cov1、Cov2、Cov3三個卷積網絡塊的輸出經點和處理后輸入到CovOut卷積網絡塊中，CovOut卷積網絡塊的輸出作為SEM網絡塊的輸出；

所述的兩個MSK網絡塊的結構相同，單個MSK網絡塊包括Conv、Conv1、Conv2、Conv3、ConvOut五個卷積網絡塊，每個卷積網絡塊均由卷積層、局部歸一化層、激活層依次連接構成，Conv卷積網絡塊的輸入作為MSK網絡塊的輸入，Conv1、Conv2、Conv3三個卷積網絡塊并聯的一端作為輸入端，輸入端與Conv卷積網絡塊相連并接收Conv卷積網絡塊的輸出，并聯的一端作為輸出端，Conv1、Conv2、Conv3三個卷積網絡塊的輸出經點和處理后輸入到ConvOut卷積網絡塊中，ConvOut卷積網絡塊的輸出作為MSK網絡塊的輸出；

步驟3：將訓練集中的彩色圖及其對應的視差圖輸入到邊界感知神經網絡中進行訓練，輸出得到邊界預測圖、顯著性預測圖和分割預測圖；

步驟4：計算輸出的邊界預測圖、顯著性預測圖和分割預測圖的總損失函數值Loss；

步驟5：重復執行步驟3-4共O次，得到K×O個總損失函數值；根據得到的總損失函數值利用反向傳播進行梯度更新，得到最優的模型參數W_op，由此得到訓練好的邊界感知神經網絡；

步驟6：采集待檢測的彩色圖像及其對應的視差圖，將彩色圖像及其對應的視差圖輸入到訓練好的邊界感知神經網絡中輸出得到分割預測圖。