[發明專利]一種雙流溝通和全局信息引導的顯著物體圖像檢測方法

在審

• 申請號: 202010783155.2
• 申請日: 2020-08-06
• 公開（公告）號: CN111709947A
• 公開（公告）日: 2020-09-25
• 發明（設計）人: 周武杰;朱赟;雷景生;郭翔;強芳芳;王海江;何成
• 申請（專利權）人: 浙江科技學院
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/90;G06T9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 林超

1.一種雙流溝通和全局信息引導的顯著物體圖像檢測方法，其特征在于方法包括訓練階段和測試階段兩個過程；

所述的訓練階段過程的具體步驟為：

步驟1_1：采集Q幅原始的彩色信息圖像和Q幅深度信息圖像以及對應的真實顯著檢測圖像，并構成訓練集，彩色信息圖像和深度信息圖像構成場景圖像；訓練集中將第q幅原始彩色信息圖像記為將與之對應的第q幅原始深度信息圖像記為將與原始彩色信息圖像對應的真實顯著檢測圖像記為

步驟1_2：構建卷積神經網絡分類訓練模型，卷積神經網絡分類訓練模型包括依次連接的輸入層、隱層和輸出層；

步驟1_3：將訓練集中的每幅原始的場景圖像輸入到卷積神經網絡中進行訓練，得到訓練集中的每幅原始的場景圖像對應的四幅顯著物體檢測預測圖并組成集合，即將第q幅原始彩色信息圖像對應的顯著物體檢測預測圖構成集合記為

步驟1_4：計算步驟1_3獲得的顯著物體檢測預測圖的集合與所有真實顯著檢測圖像構成的集合之間的損失函數值采用交叉熵獲得；

步驟1_5：重復執行步驟1_3和步驟1_4共V次，得到卷積神經網絡分類訓練模型，并共得到Q×V個損失函數值；然后從Q×V個損失函數值中找出值最小的損失函數值；接著將值最小的損失函數值對應的權值矢量和偏置項對應作為卷積神經網絡分類訓練模型的最優權值矢量W^best和最優偏置項b^best，獲得訓練好的卷積神經網絡分類訓練模型；

所述的測試階段過程的具體步驟為：針對待檢測的場景圖像待檢測的場景圖像包括了待檢測的彩色信息圖像和深度信息圖像，待檢測的彩色信息圖像的紅、綠、藍三層通道分量輸入到卷積神經網絡分類訓練模型的彩色信息流，將待檢測的深度信息圖像被復制成三通道的深度通道分量輸入到卷積神經網絡分類訓練模型的深度信息流，并利用訓練好的卷積神經網絡分類訓練模型進行預測，得到待檢測的場景圖像對應的預測顯著物體檢測圖像作為檢測結果。

2.根據權利要求1所述的一種雙流溝通和全局信息引導的顯著物體圖像檢測方法，其特征在于：所述的卷積神經網絡分類訓練模型中，所述的卷積神經網絡分類訓練模型的隱層包括彩色信息流和深度信息流以及五個逆置注意力模塊，彩色信息流包括五個彩色卷積塊、四個彩色解碼塊、五個彩色注意力模塊、五個彩色上采樣模塊；深度信息流包括五個深度卷積塊、四個深度解碼塊、五個深度注意力模塊、五個深度上采樣模塊；彩色信息流的輸入端接收原始彩色信息圖像的紅、綠、藍三層通道分量，深度信息流輸入端接收原始深度信息圖像的深度通道分量，并將其復制三份變成三層通道分量；

五個彩色卷積塊依次連接，第一個彩色卷積塊的輸入端作為彩色信息流的輸入端，四個彩色解碼塊依次連接，每相鄰兩個彩色解碼塊之間均連接有一個通道相加層，且第一個彩色解碼塊的輸入端連接有一個通道相加層，前三個彩色卷積塊的輸出端均依次經各自的一個彩色注意力模塊和一個彩色上采樣模塊后分別連接輸入到后三個彩色解碼塊輸入側的通道相加層的輸入端，后兩個彩色卷積塊的輸出端依次經各自的一個彩色注意力模塊和一個彩色上采樣模塊后一起連接輸入到第一個彩色解碼塊輸入側的通道相加層的輸入端；

五個深度卷積塊依次連接，第一個深度卷積塊的輸入端作為深度信息流的輸入端，四個深度解碼塊依次連接，每相鄰兩個深度解碼塊之間均連接有一個通道相加層，且第一個深度解碼塊的輸入端連接有一個通道相加層，前三個深度卷積塊的輸出端均依次經各自的一個深度注意力模塊、一個像素相加層和一個深度上采樣模塊后分別連接輸入到后三個深度解碼塊輸入側的通道相加層的輸入端，后兩個深度卷積塊的輸出端依次經各自的一個深度注意力模塊和一個深度上采樣模塊后一起連接輸入到第一個深度解碼塊輸入側的通道相加層的輸入端；同時五個彩色卷積塊的輸出端經各自的一個逆置注意力模塊后分別輸入到五個深度解碼塊輸入側的像素相加層的輸入端；每一個深度解碼塊與其對應的一個彩色解碼塊的輸出端均連接輸入到一個通道相加層后輸出到各自的輸出層。