[發明專利]基于極致下采樣的圖像顯著性物體檢測方法及系統

有效

• 申請號: 202011500724.4
• 申請日: 2020-12-17
• 公開（公告）號: CN112528900B
• 公開（公告）日: 2022-09-16
• 發明（設計）人: 程明明;吳宇寰;劉云
• 申請（專利權）人: 南開大學
• 主分類號: G06V20/20
• 分類號: G06V20/20;G06V10/40;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

1.基于極致下采樣的圖像顯著性物體檢測方法，其特征是，包括：

獲取待檢測的目標圖像；

將待檢測的目標圖像，輸入到訓練后的基于極致下采樣的神經網絡模型中，輸出目標圖像中的顯著性物體；

所述基于極致下采樣的神經網絡，網絡結構包括：彼此連接的編碼器和解碼器；

所述編碼器，包括：彼此連接的自底向上網絡和極致下采樣模塊；

所述極致下采樣模塊，將自底向上網絡的最后一個特征作為輸入值，對最后一個特征進行深層次的下采樣，獲得全局化的特征；

并將全局化的特征輸入到自頂向下網絡中進行特征融合，得到顯著性物體的定位結果；

所述極致下采樣模塊，包括：依次連接的第一串行下采樣子模塊、第二串行下采樣子模塊和全局特征提取子模塊；

其中，第一串行下采樣子模塊，包括：依次連接的第一下采樣單元、第十四卷積層和第十五卷積層；

其中，第二串行下采樣子模塊，包括：依次連接的第二下采樣單元、第十六卷積層和第十七卷積層；

其中，全局特征提取子模塊，包括：依次連接的全局平均池化層和sigmoid函數層；

其中，第十五卷積層與第二下采樣單元連接，第十七卷積層與全局平均池化層連接；

其中，sigmoid函數層的輸出端的輸出值與第十五卷積層的輸出端的輸出值進行乘積，得到乘積結果E6；

其中，sigmoid函數層的輸出端的輸出值與第十七卷積層的輸出端的輸出值進行乘積，得到乘積結果E7；

所述解碼器，包括：自頂向下網絡。

2.如權利要求1所述的基于極致下采樣的圖像顯著性物體檢測方法，其特征是，所述自底向上網絡，由VGG16網絡去掉最后一個最大池化層、三個全連接層和softmax函數層得到。

3.如權利要求1所述的基于極致下采樣的圖像顯著性物體檢測方法，其特征是，所述自底向上網絡，包括：依次連接的第一卷積層、第二卷積層、第一最大池化層、第三卷積層、第四卷積層、第二最大池化層、第五卷積層、第六卷積層、第七卷積層、第三最大池化層、第八卷積層、第九卷積層、第十卷積層、第四最大池化層、第十一卷積層、第十二卷積層和第十三卷積層。

4.如權利要求1所述的基于極致下采樣的圖像顯著性物體檢測方法，其特征是，所述極致下采樣模塊，工作原理包括：

自底向上網絡的最后一個特征，先依次通過第一串行下采樣子模塊和第二串行下采樣子模塊進行下采樣；

經過第一串行下采樣子模塊和第二串行下采樣子模塊后得到的下采樣特征；再經全局特征提取子模塊處理，得到全局特征向量；

將全局特征向量分別用于第一串行下采樣子模塊和第二串行下采樣子模塊的輸出特征，得到經全局特征向量過濾后的特征。

5.如權利要求3所述的基于極致下采樣的圖像顯著性物體檢測方法，其特征是，所述自頂向下網絡，包括：將兩個經全局化過濾的輸出特征進行特征融合，得到極致下采樣模塊的全局特征輸出；依次連接的第一融合單元、第二融合單元、第三融合單元、第四融合單元、第五融合單元和第六融合單元；

其中，第一融合單元，用于將乘積結果E6與乘積結果E7進行融合得到融合結果D6；

其中，第二融合單元，用于將融合結果D6與第十三卷積層的輸出值E5進行融合，得到融合結果D5；

其中，第三融合單元，用于將融合結果D5與第十卷積層的輸出值E4進行融合，得到融合結果D4；

其中，第四融合單元，用于將融合結果D4與第七卷積層的輸出值E3進行融合，得到融合結果D3；

其中，第五融合單元，用于將融合結果D3與第四卷積層的輸出值E2進行融合，得到融合結果D2；

其中，第六融合單元，用于將融合結果D2與第二卷積層的輸出值E1進行融合，得到融合結果D1。