[發明專利]一種基于擴張卷積塊的多模態融合顯著性檢測方法

在審

• 申請號: 202010850264.1
• 申請日: 2020-08-21
• 公開（公告）號: CN112149662A
• 公開（公告）日: 2020-12-29
• 發明（設計）人: 周武杰;張欣悅;雷景生;靳婷;史文彬
• 申請（專利權）人: 浙江科技學院
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/62;G06N3/04;G06T7/90
• 代理公司: 寧波奧圣專利代理有限公司 33226
• 代理人: 周玨

本發明公開了一種基于擴張卷積塊的多模態融合顯著性檢測方法，其構建的卷積神經網絡采用了漸增擴張卷積塊，以RGB圖的編碼網絡中的第1個至第4個神經網絡塊的多尺度輸出為輸入，能對輸入的特征圖進行自適應特征細化，以捕捉更充分的RGB特征信息，以提高視覺顯著性檢測精度；采用了通道注意力模塊，以深度圖和RGB圖的元素相加結果作為輸入，能有效結合跨模態多尺度的深度信息和細化后的RGB信息，增強了顯著區域的表達，提高了顯著檢測精度；采用了特征交互增強模塊，以RGB圖的編碼網絡中的第5個神經網絡塊的輸出為輸入，通過兩個特征交互流將輸入的高層RGB信息進行特征增強，與高層深度信息進行跨模態融合，能利用多模態信息捕獲更精確的顯著區域。

技術領域

本發明涉及一種視覺顯著性檢測方法，尤其是涉及一種基于擴張卷積塊的多模態融合顯著性檢測方法。

背景技術

在圖像中尋找感興趣的對象時，人可以自動捕獲對象及其上下文之間的語義信息，對顯著對象給予高度的關注，并選擇性地抑制不重要的因素。這種精確的視覺注意機制已經在各種生物邏輯模型中得到了解釋。顯著性檢測的目的是自動檢測圖像中最具信息和吸引力的部分。在許多圖像應用中，例如圖像質量評估、語義分割、圖像識別等，確定顯著目標不僅可以降低計算成本，還可以提高顯著性模型的性能。早期的顯著性檢測方法采用手工特征，即主要針對圖像顏色、紋理、對比度等進行先驗式模擬近似人眼注視的顯著性。隨著顯著性研究的深入，發現這些手工特征已經不足以很好地捕獲圖像中的特征，因為這種手工特征未能提取到圖像中的對象特征和其周圍環境的高級語義。因此，采用深度學習的方法能更好地提取圖像特征，以達到更好的顯著性檢測效果。現有的顯著性檢測方法大多數已經采用深度學習的方法，利用卷積層與池化層相結合的方法提取圖像特征，但是單純的使用卷積操作與池化操作獲得的圖像特征不具有代表性，尤其是進行池化操作會丟失圖像的特征信息，從而會導致得到的顯著性預測圖效果較差，檢測的準確度低。

發明內容

本發明所要解決的技術問題是提供一種基于擴張卷積塊的多模態融合顯著性檢測方法，其檢測準確度高。

本發明解決上述技術問題所采用的技術方案為：一種基于擴張卷積塊的多模態融合顯著性檢測方法，其特征在于包括訓練階段和測試階段兩個過程；

所述的訓練階段過程的具體步驟為：

步驟①_1：選取K幅原始立體圖像的RGB圖和深度圖及每幅原始立體圖像對應的真實人眼注釋圖構成訓練集，將訓練集中的第i幅原始立體圖像的RGB圖和深度圖對應記為和將訓練集中與第i幅原始立體圖像對應的真實人眼注釋圖記為其中，K為正整數，K≥200，1≤i≤K，(x,y)代表像素點的坐標位置，用W表示原始立體圖像的寬度，用H表示原始立體圖像的高度，則有1≤x≤W,1≤y≤H，表示中坐標位置為(x,y)的像素點的像素值，表示中坐標位置為(x,y)的像素點的像素值，表示中坐標位置為(x,y)的像素點的像素值；

步驟①_2：構建卷積神經網絡：該卷積神經網絡包括輸入層、隱層和輸出層，輸入層由RGB圖輸入層和深度圖輸入層兩部分構成，隱層由第1個神經網絡塊至第10個神經網絡塊、漸增擴張卷積塊、第1個通道注意力模塊至第4個通道注意力模塊、特征交互增強模塊、第1個上采樣塊至第5個上采樣塊組成，漸增擴張卷積塊由第1個擴張卷積塊至第10個擴張卷積塊組成；

對于RGB圖輸入層，其輸入端接收一幅原始RGB圖的R通道分量、G通道分量和B通道分量，其輸出端輸出原始RGB圖的R通道分量、G通道分量和B通道分量給隱層；其中，原始RGB圖的寬度為W、高度為H；

對于深度圖輸入層，其輸入端接收一幅原始深度圖通過采用HHA方法處理成的三通道深度圖，其輸出端輸出三通道深度圖給隱層；其中，原始深度圖的寬度為W、高度為H；