[發明專利]一種基于視差估計增強的顯著物體檢測方法

在審

• 申請號: 202110297511.4
• 申請日: 2021-03-19
• 公開（公告）號: CN113192002A
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 周武杰;朱赟;雷景生;萬健;錢小鴻;葉寧;甘興利
• 申請（專利權）人: 浙江科技學院
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/04;G06N3/08;G06T5/00
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 林超

1.一種基于視差估計增強的顯著物體檢測方法，其特征在于：包括訓練階段和測試階段兩個過程；

所述的訓練階段過程的具體步驟為：

步驟1_1：選取Q幅原始左視圖和對應的Q幅原始右視圖、Q幅真實視差標簽圖以及Q幅真實顯著檢測圖像，并構成訓練集；

步驟1_2：將訓練集輸入總卷積神經網絡，總卷積神經網絡輸出每幅原始左視圖對應的三幅顯著性預測圖、一幅視差預測圖和四幅監督預測圖；總卷積神經網絡包括第一階段卷積神經網絡、第二階段卷積神經網絡和第三階段卷積神經網絡；第三階段卷積神經網絡分別與第一階段卷積神經網絡和第二階段卷積神經網絡相連，訓練集分別輸入到第一階段卷積神經網絡、第二階段卷積神經網絡，第一階段卷積神經網絡輸出一幅顯著性預測圖和視差預測圖，第二階段卷積神經網絡輸出一幅顯著性預測圖和四幅監督預測圖，第三階段卷積神經網絡輸出一幅顯著性預測圖；

步驟1_3：計算訓練集中的每幅原始左視圖對應的三幅顯著檢測性預測圖構成的集合與對應的真實顯著檢測圖像之間的損失函數值作為第一損失函數值，計算訓練集中的每幅原始左視圖對應的四幅監督預測圖構成的集合與對應的真實顯著檢測圖像之間的損失函數值作為第二損失函數值，計算訓練集中的每幅原始左視圖對應的一幅視差預測圖與對應的真實視差標簽圖之間的損失函數值作為第三損失函數值；第一損失函數值、第二損失函數值和第三損失函數值組成總損失函數值；

步驟1_4：重復執行步驟1_2和步驟1_3共V次，得到Q×V個總卷積神經網絡，并共得到Q×V×3個總損失函數值；然后從Q×V×3個總損失函數值中分別找出三個最小的第一損失函數值、第二損失函數值和第三損失函數值；接著，將三個最小的第一損失函數值、第二損失函數值和第三損失函數值分別對應的權值矢量和偏置項作為對應階段卷積神經網絡的最優權值矢量和最優偏置項，獲得訓練好的總卷積神經網絡；

所述的測試階段過程的具體步驟為：

步驟2：選取待檢測的場景圖像，將待檢測的場景圖像輸入到訓練好的總卷積神經網絡，得到待檢測的場景圖像對應的顯著檢測性預測圖。

2.根據權利要求1所述的一種基于視差估計增強的顯著物體檢測方法，其特征在于：所述第一階段卷積神經網絡具體為：

包括第一階段左視圖輸入流、右視圖輸入流、第一左視圖彩色圖像預訓練層、右視圖彩色圖像預訓練層、第一視差增強模塊、第二視差增強模塊、第三視差增強模塊、第一加權雙目模塊、第二加權雙目模塊、第三加權雙目模塊、第四加權雙目模塊、第五加權雙目模塊、第一上采樣增強模塊、第二上采樣增強模塊、第三上采樣增強模塊、第四上采樣增強模塊、第五上采樣增強模塊、第六上采樣增強模塊、第七上采樣增強模塊、第八上采樣增強模塊和第一顯著性輸出和視差輸出；

第一階段左視圖輸入流與第一左視圖彩色圖像預訓練層相連，右視圖輸入流與右視圖彩色圖像預訓練層相連，第一左視圖彩色圖像預訓練層的第一輸出、第二輸出、第三輸出、第四輸出和第五輸出分別輸入到第一加權雙目模塊、第二加權雙目模塊、第三加權雙目模塊、第四加權雙目模塊和第五加權雙目模塊，第一左視圖彩色圖像預訓練層的第三輸出、第四輸出和第五輸出還分別輸入到第一視差增強模塊、第二視差增強模塊和第三視差增強模塊；右視圖彩色圖像預訓練層的第一輸出、第二輸出、第三輸出、第四輸出和第五輸出分別輸入到第一加權雙目模塊、第二加權雙目模塊、第三加權雙目模塊、第四加權雙目模塊和第五加權雙目模塊，右視圖彩色圖像預訓練層的第三輸出、第四輸出和第五輸出還分別輸入到第一視差增強模塊、第二視差增強模塊和第三視差增強模塊；

第五加權雙目模塊的輸出輸入第一上采樣增強模塊，第一上采樣增強模塊的輸出與第四加權雙目模塊的輸出進行按通道數相加后輸入到第二上采樣增強模塊，第二上采樣增強模塊的輸出與第三加權雙目模塊的輸出進行按通道數相加后輸入到第三上采樣增強模塊，第三上采樣增強模塊的輸出與第二加權雙目模塊的輸出進行按通道數相加后輸入到第四上采樣增強模塊，第四上采樣增強模塊的輸出與第一加權雙目模塊的輸出進行按通道數相加后輸入到第五上采樣增強模塊，第五上采樣增強模塊與第一顯著性輸出相連；

第三視差增強模塊的輸出輸入到第六上采樣增強模塊，第六上采樣增強模塊的輸出與第二視差增強模塊的輸出進行按通道數相加后輸入到第七上采樣增強模塊，第七上采樣增強模塊的輸出與第一視差增強模塊的輸出進行按通道數相加后輸入到第八上采樣增強模塊，第八上采樣增強模塊與視差輸出相連，第一顯著性輸出和視差輸出分別輸出一幅顯著性預測圖和一幅視差預測圖。