[發明專利]多注意力導向神經網絡的立體顯著性物體檢測技術

在審

• 申請號: 202010573881.1
• 申請日: 2020-06-22
• 公開（公告）號: CN111783862A
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 周武杰;陳昱臻;雷景生;強芳芳;王海江;何成
• 申請（專利權）人: 浙江科技學院
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 林超

1.一種多注意力導向神經網絡的立體顯著性物體檢測技術，其特征在于，包括以下步驟：

步驟1)選取K幅原始RGB圖像以及原始RGB圖像對應的視差圖和真實分割圖，并構成訓練集；

步驟2)構建多注意力導向神經網絡；

步驟3)將訓練集中的每幅原始RGB圖以及對應的視差圖輸入到多注意力導向神經網絡中進行訓練，從輸出層輸出得到顯著性預測分割圖，計算顯著性預測分割圖和對應的真實分割圖之間的損失函數值，損失函數值采用二值交叉熵獲得；

步驟4)重復執行步驟3)共V次，共得到K×V個損失函數值，然后從K×V個損失函數值中找出值最小的損失函數值作為模型參數，從而完成多注意力導向神經網絡的訓練；

步驟5)將待顯著分割的RGB圖像以及對應的視差圖輸入訓練好的多注意力導向神經網絡中，輸出獲得對應的預測分割圖像，完成立體顯著性物體檢測。

2.根據權利要求1所述的一種多注意力導向神經網絡的立體顯著性物體檢測技術，其特征在于，所述步驟2)中，多注意力導向神經網絡包括輸入層、隱層和輸出層，輸入層包括RGB圖輸入層和視差圖輸入層，隱層包括視差圖特征提取模塊、RGB圖特征提取模塊、多注意力掩碼生成模塊和預測模塊；

RGB圖特征提取模塊包括二型殘差網絡模塊和四個卷積塊；二型殘差網絡模塊主要由依次連接的二型殘差第一層、二型殘差第二層、二型殘差第三層、二型殘差第四層組成，二型殘差第一層、二型殘差第二層、二型殘差第三層、二型殘差第四層的輸出分別輸入第四個卷積塊、第三個卷積塊、第二個卷積塊、第一個卷積塊，二型殘差第一層接收RGB圖輸入層的輸出；

視差圖特征提取模塊包括改進的谷歌神經網絡和第五個卷積塊，視差圖輸入層的輸出經改進的谷歌神經網絡輸入第五個卷積塊；

多注意力掩碼生成模塊包括三個采樣塊、兩個疊加層和一個點和層，第一個上采樣塊接收第一個卷積塊的輸出，第一個疊加層接收第一個上采樣塊的輸出和第二個卷積塊的輸出，第二個上采樣塊接收第一個疊加層的輸入，第二個疊加層接收第二個上采樣塊的輸出和第三個卷積塊的輸出，第三個上采樣塊接收第二個疊加層的輸出；第一個點和層接收第五個卷積塊和第三個上采樣塊的輸入；

預測模塊包括第一個點乘層、第三個疊加層和第四個上采樣塊，第一個點乘層接收第四個卷積塊和第一個點和層的輸入，第三個疊加層接收第四個卷積塊和第一個點乘層的輸入，第四個上采樣塊接收第三個疊加層的輸入；

第四個上采樣塊經輸出層輸出。

3.根據權利要求2所述的一種多注意力導向神經網絡的立體顯著性物體檢測技術，其特征在于，所述二型殘差網絡模塊采用修改后的Res2Net模型，修改后的Res2Net模型刪除了原Res2Net模型中第一個最大池化層且刪除了最后所有的全連接層和平均池化層；

以下采樣作為分界點將修改后的Res2Net模型分成二型殘差第一層、二型殘差第二層、二型殘差第三層和二型殘差第四層；修改后的Res2Net模型中：第一次下采樣操作之前的所有層作為二型殘差第一層，第一次下采樣操作到第二次下采樣操作之間的所有層作為二型殘差網絡第二層，第二次下采樣操作到第三次下采樣操作之間的所有層作為二型殘差網絡第三層，第三次下采樣操作到第四次下采樣操作之間的所有層作為二型殘差網絡第四層。

4.根據權利要求2所述的一種多注意力導向神經網絡的立體顯著性物體檢測技術，其特征在于，改進的谷歌神經網絡僅保留了原谷歌神經網絡中莖干Stem部分以及莖干部分下面連接的五個Inception-resnet-A模塊。

5.根據權利要求2所述的一種多注意力導向神經網絡的立體顯著性物體檢測技術，其特征在于，五個卷積塊均由卷積層、局部歸一化層、激活層組成；四個上采樣塊均采用雙線性插值的方式進行上采樣。