[發(fā)明專利]基于極致下采樣的圖像顯著性物體檢測(cè)方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011500724.4
• 申請(qǐng)日: 2020-12-17
• 公開（公告）號(hào): CN112528900B
• 公開（公告）日: 2022-09-16
• 發(fā)明（設(shè)計(jì)）人: 程明明;吳宇寰;劉云
• 申請(qǐng)（專利權(quán)）人: 南開大學(xué)
• 主分類號(hào): G06V20/20
• 分類號(hào): G06V20/20;G06V10/40;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 濟(jì)南圣達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 37221
• 代理人: 黃海麗

1.基于極致下采樣的圖像顯著性物體檢測(cè)方法，其特征是，包括：

獲取待檢測(cè)的目標(biāo)圖像；

將待檢測(cè)的目標(biāo)圖像，輸入到訓(xùn)練后的基于極致下采樣的神經(jīng)網(wǎng)絡(luò)模型中，輸出目標(biāo)圖像中的顯著性物體；

所述基于極致下采樣的神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)包括：彼此連接的編碼器和解碼器；

所述編碼器，包括：彼此連接的自底向上網(wǎng)絡(luò)和極致下采樣模塊；

所述極致下采樣模塊，將自底向上網(wǎng)絡(luò)的最后一個(gè)特征作為輸入值，對(duì)最后一個(gè)特征進(jìn)行深層次的下采樣，獲得全局化的特征；

并將全局化的特征輸入到自頂向下網(wǎng)絡(luò)中進(jìn)行特征融合，得到顯著性物體的定位結(jié)果；

所述極致下采樣模塊，包括：依次連接的第一串行下采樣子模塊、第二串行下采樣子模塊和全局特征提取子模塊；

其中，第一串行下采樣子模塊，包括：依次連接的第一下采樣單元、第十四卷積層和第十五卷積層；

其中，第二串行下采樣子模塊，包括：依次連接的第二下采樣單元、第十六卷積層和第十七卷積層；

其中，全局特征提取子模塊，包括：依次連接的全局平均池化層和sigmoid函數(shù)層；

其中，第十五卷積層與第二下采樣單元連接，第十七卷積層與全局平均池化層連接；

其中，sigmoid函數(shù)層的輸出端的輸出值與第十五卷積層的輸出端的輸出值進(jìn)行乘積，得到乘積結(jié)果E6；

其中，sigmoid函數(shù)層的輸出端的輸出值與第十七卷積層的輸出端的輸出值進(jìn)行乘積，得到乘積結(jié)果E7；

所述解碼器，包括：自頂向下網(wǎng)絡(luò)。

2.如權(quán)利要求1所述的基于極致下采樣的圖像顯著性物體檢測(cè)方法，其特征是，所述自底向上網(wǎng)絡(luò)，由VGG16網(wǎng)絡(luò)去掉最后一個(gè)最大池化層、三個(gè)全連接層和softmax函數(shù)層得到。

3.如權(quán)利要求1所述的基于極致下采樣的圖像顯著性物體檢測(cè)方法，其特征是，所述自底向上網(wǎng)絡(luò)，包括：依次連接的第一卷積層、第二卷積層、第一最大池化層、第三卷積層、第四卷積層、第二最大池化層、第五卷積層、第六卷積層、第七卷積層、第三最大池化層、第八卷積層、第九卷積層、第十卷積層、第四最大池化層、第十一卷積層、第十二卷積層和第十三卷積層。

4.如權(quán)利要求1所述的基于極致下采樣的圖像顯著性物體檢測(cè)方法，其特征是，所述極致下采樣模塊，工作原理包括：

自底向上網(wǎng)絡(luò)的最后一個(gè)特征，先依次通過(guò)第一串行下采樣子模塊和第二串行下采樣子模塊進(jìn)行下采樣；

經(jīng)過(guò)第一串行下采樣子模塊和第二串行下采樣子模塊后得到的下采樣特征；再經(jīng)全局特征提取子模塊處理，得到全局特征向量；

將全局特征向量分別用于第一串行下采樣子模塊和第二串行下采樣子模塊的輸出特征，得到經(jīng)全局特征向量過(guò)濾后的特征。

5.如權(quán)利要求3所述的基于極致下采樣的圖像顯著性物體檢測(cè)方法，其特征是，所述自頂向下網(wǎng)絡(luò)，包括：將兩個(gè)經(jīng)全局化過(guò)濾的輸出特征進(jìn)行特征融合，得到極致下采樣模塊的全局特征輸出；依次連接的第一融合單元、第二融合單元、第三融合單元、第四融合單元、第五融合單元和第六融合單元；

其中，第一融合單元，用于將乘積結(jié)果E6與乘積結(jié)果E7進(jìn)行融合得到融合結(jié)果D6；

其中，第二融合單元，用于將融合結(jié)果D6與第十三卷積層的輸出值E5進(jìn)行融合，得到融合結(jié)果D5；

其中，第三融合單元，用于將融合結(jié)果D5與第十卷積層的輸出值E4進(jìn)行融合，得到融合結(jié)果D4；

其中，第四融合單元，用于將融合結(jié)果D4與第七卷積層的輸出值E3進(jìn)行融合，得到融合結(jié)果D3；

其中，第五融合單元，用于將融合結(jié)果D3與第四卷積層的輸出值E2進(jìn)行融合，得到融合結(jié)果D2；

其中，第六融合單元，用于將融合結(jié)果D2與第二卷積層的輸出值E1進(jìn)行融合，得到融合結(jié)果D1。