[發明專利]一種雙流溝通和全局信息引導的顯著物體圖像檢測方法

在審

• 申請號: 202010783155.2
• 申請日: 2020-08-06
• 公開（公告）號: CN111709947A
• 公開（公告）日: 2020-09-25
• 發明（設計）人: 周武杰;朱赟;雷景生;郭翔;強芳芳;王海江;何成
• 申請（專利權）人: 浙江科技學院
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/90;G06T9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 林超

本發明公開了一種雙流溝通和全局信息引導的顯著物體圖像檢測方法。輸入原始的彩色信息圖像和深度信息圖像進卷積神經網絡分類訓練模型中進行訓練，得到顯著物體檢測預測圖；再通過顯著物體檢測預測圖構成的集合與真實顯著檢測圖像構成的集合之間的損失函數，獲得卷積神經網絡分類訓練模型的最優權值矢量和偏置項；將選定數據集中的立體圖像輸入到訓練好的卷積神經網絡模型中，得到顯著性檢測結果。本發明提高了圖像的顯著物體檢測效率和準確度，減少了參數易于遷移。

技術領域

本發明涉及一種深度學習的顯著物體檢測方法，尤其是涉及一種雙流溝通和全局信息引導的的顯著物體檢測方法。

背景技術

卷積神經網絡的興起，使得其在各種各樣的場景中有著越來越多的應用，顯著物體檢測就是其中一個重要的應用。目前，最常用的顯著物體檢測采用的都是利用彩色信息檢測顯著物體，而近年來，隨著深度傳感器的發展，如：Microsoft Kinect和IntelRealSense，使得獲得深度信息變得越來越方便，使用彩色加深度信息來對顯著物體進行檢測，提高了圖像像素級檢測任務的精度。

采用深度學習的顯著物體檢測方法，直接進行像素級別端到端(end-to-end)的顯著物體檢測，其只需要將訓練集中的圖像輸入進模型框架中訓練，得到權重與模型，即可在測試集進行預測。卷積神經網絡的強大之處在于它的多層結構能自動學習特征，并且可以學習到多個層次的特征。目前，基于深度學習顯著物體檢測的方法一般都是編碼-譯碼架構。編碼過程通過池化層逐漸減少分辨率、增加感受野、獲得更多的語義信息；譯碼過程逐漸恢復分辨率。而在譯碼與編碼間一般都有直接的連接來獲得更多的位置信息。

現有的顯著物體檢測方法大多采用深度學習的方法，利用卷積層與池化層相結合的模型較多，然而單純只利用彩色信息操作獲得的特征圖單一且不具有代表性，從而會導致得到的圖像的特征信息減少，最終導致還原的效果信息比較粗糙，檢測精度低。

發明內容

本發明所要解決的技術問題是提供一種雙流溝通和全局信息引導的顯著物體圖像檢測方法，其檢測準確度較高，且模型參數較少，易于遷移，能夠提高圖像的顯著物體檢測效率和準確度，減少了參數易于遷移。

本發明解決上述所述技術問題所采用的技術方案為：

方法包括訓練階段和測試階段兩個過程；

所述的訓練階段過程的具體步驟為：

步驟1_1：采集Q幅原始的彩色信息圖像和Q幅深度信息圖像以及對應的真實顯著檢測圖像，并構成訓練集，彩色信息圖像和深度信息圖像構成場景圖像；訓練集中將第q幅原始彩色信息圖像記為將與之對應的第q幅原始深度信息圖像記為將與原始彩色信息圖像對應的真實顯著檢測圖像記為其中，Q為正整數，Q≥200，如取Q＝1588，q為正整數，1≤q≤Q，1≤i≤W，1≤j≤H，W表示{I^q(i,j)}的寬度，H表示{I^q(i,j)}的高度，如取W＝224、H＝224，表示中坐標位置為(i,j)的像素點的像素值，表示中坐標位置為(i,j)的像素點的像素值，表示中坐標位置為(i,j)的像素點的像素值。

采集時同一時刻采集一幅彩色信息圖像和一幅深度信息圖像，并標注獲得真實顯著檢測圖像，真實顯著檢測圖像標注為對圖像中的物體進行矩形框標注。具體實施中可以將原始圖像直接選用彩色加深度圖像數據庫NJU2K訓練集中的1588幅圖像。

所述的圖像具體均為針對靜態物體的圖像識別，例如為道路上監控攝像頭中的車輛/行人檢測。

步驟1_2：構建卷積神經網絡分類訓練模型，卷積神經網絡分類訓練模型包括依次連接的輸入層、隱層和輸出層；

步驟1_3：將訓練集中的每幅原始的場景圖像輸入到卷積神經網絡中進行訓練，得到訓練集中的每幅原始的場景圖像對應的四幅顯著物體檢測預測圖并組成集合，即將第q幅原始彩色信息圖像對應的顯著物體檢測預測圖構成集合記為