[發明專利]基于邊界感知神經網絡的雙目顯著物體檢測方法

有效

• 申請號: 201910764582.3
• 申請日: 2019-08-19
• 公開（公告）號: CN110570402B
• 公開（公告）日: 2021-11-19
• 發明（設計）人: 周武杰;陳昱臻;雷景生;李顏娥;王海江;何成
• 申請（專利權）人: 浙江科技學院
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/155
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 林超

本發明公開了一種基于邊界感知神經網絡的雙目顯著物體檢測方法。采用多尺度的卷積神經網絡，通過兩個輸入的方式構建雙流的神經網絡。并在池化層逐步的對圖像進行縮小，進行編碼，從而提升卷積核的感受野。在提升程序運行速度的同時又可以快速的確定物體的位置信息。其次使用上采樣進行譯碼，逐步的恢復圖像在細節位置的像素，從而提高最終的準確率。采用視差圖對神經網絡進行了優化。彌補了單純的2D彩色圖像在背景和物體顏色，對比度等相似的情況下，信息不足的缺點。從而使得結果更接近真實的人類觀察物體的情況。

技術領域

本發明涉及一種基于雙目視覺的立體圖像處理技術，尤其是涉及一種基于邊界感知神經網絡的雙目視覺顯著物體檢測方法。

背景技術

人類視覺系統在判斷所接收的視覺信息之前，會快速的將注意力集中在有某些特定特點的物體上。優先對其進行處理，而不是處理所有接收到的信息。這對提升系統的處理速度和增加對物體的判斷準確率都有很大的作用。提取圖像中的關鍵區域和物體，淡化和去除背景能夠大大幫助圖像在各個領域上應用。

然而單一的對平面圖像進行分析和計算并不能很好的達成這一目的。尤其是一些物體與背景的顏色，對比度等指標非常相近的場景。現有的僅僅針對平面圖像的算法更是表現出了信息不足的缺陷。隨著技術的發展，利用基于雙目視覺原理得到的視差圖作為圖像立體特征的方法不斷出現。再結合深度學習的方法，在傳統的深度學習基礎上，加入具有3D立體信息的視差圖，往往能夠使結果得到很大的提升。因此，如何利用神經網絡對視差圖進行特征提取，并與RGB圖的特征有效的融合最終得到準確率較高的結果都是我們研究需要解決的問題。另一方面，注意力機制的引入大大加強了物體位置信息的提取，而加入邊界的監督與懲罰又提升了物體邊界的精細度。因而，結合這些技術改善現有的方法，是一種很好的改進途徑。

發明內容

本發明所要解決的技術問題是提供一種基于邊界感知神經網絡的雙目顯著物體檢測技術，其能夠達到快速檢測和精確檢測一個精細的物體的目的。

本發明解決上述技術問題所采用的技術方案包括以下步驟：

步驟1：選取K張彩色圖以及彩色圖對應的視差圖、分割標簽圖，將所有彩色圖像及其對應的視差圖、分割標簽圖構成訓練集；分割標簽圖是指對彩色圖中的顯著性區域進行標注得到的圖像；由于數字圖像中存在著大量的冗余信息,其最重要的內容往往只集中在一些小的關鍵區域，這些區域中最能吸引人的注意，也最能表征圖像內容的區域被稱為顯著性區域或感興趣區域。

步驟2：構建邊界感知神經網絡。

步驟3：將訓練集中的彩色圖及其對應的視差圖輸入到邊界感知神經網絡中進行訓練，輸出得到邊界預測圖、顯著性預測圖和分割預測圖；第二十二個神經網絡塊輸出邊界預測圖，并記為第二十六個神經網絡塊輸出顯著性預測圖，記為第二十八個神經網絡塊輸出分割預測圖也就是最終要得到的結果，記為k表示訓練集中的第k個訓練樣本。

步驟4：計算輸出的邊界預測圖、顯著性預測圖和分割預測圖的總損失函數值Loss。

步驟5：重復執行步驟3-4共O次，得到K×O個總損失函數值；根據得到的總損失函數值利用反向傳播進行梯度更新，得到最優的模型參數W_op，由此得到訓練好的邊界感知神經網絡；模型參數W_op是指卷積層對應的卷積核的參數。例如64個3*3的卷積核就擁有64*3*3個參數。

步驟6：采集待檢測的彩色圖像及其對應的視差圖，將彩色圖像及其對應的視差圖輸入到訓練好的邊界感知神經網絡中輸出得到分割預測圖。

步驟4所述的總損失函數的計算具體是：將分割標簽圖通過canny算子提取得到顯著性區域的外輪廓并將其作為邊界圖，邊界圖用于訓練邊界感知網絡部分的參數。分別計算邊界預測圖與邊界圖的損失函數值、顯著性預測圖與分割標簽圖的損失函數值、分割預測圖與分割標簽圖的損失函數值，將上述三個損失函數值相加得到總損失函數值Loss，記為采用二值交叉熵獲得。