[發(fā)明專利]多深度特征融合的圖像顯著性目標(biāo)檢測(cè)方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010832414.6
• 申請(qǐng)日: 2020-08-18
• 公開（公告）號(hào): CN112132156B
• 公開（公告）日: 2023-08-22
• 發(fā)明（設(shè)計(jì)）人: 陳振學(xué);閆星合;劉成云;孫露娜;段樹超;朱凱;陸夢(mèng)旭;李明
• 申請(qǐng)（專利權(quán)）人: 山東大學(xué)
• 主分類號(hào): G06V10/82
• 分類號(hào): G06V10/82;G06V10/80;G06V10/44;G06V10/46;G06V10/774;G06V20/56;G06N3/0455;G06N3/0464;G06N3/08
• 代理公司: 濟(jì)南圣達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 37221
• 代理人: 董雪

1.一種多深度特征融合的圖像顯著性目標(biāo)檢測(cè)方法，其特征在于，包括：

獲取設(shè)定場(chǎng)景下的待檢測(cè)圖像信息；

將所述圖像信息輸入到訓(xùn)練好的多深度特征融合神經(jīng)網(wǎng)絡(luò)模型；

所述多深度特征融合神經(jīng)網(wǎng)絡(luò)模型在編碼階段采用卷積進(jìn)行特征提取，在解碼階段結(jié)合卷積和雙線性插值的上采樣方法還原輸入圖像的信息，輸出具有顯著性信息的特征圖；

采用多層級(jí)網(wǎng)絡(luò)學(xué)習(xí)不同層級(jí)的特征圖，將不同層級(jí)的特征圖融合；

輸出最終的顯著性目標(biāo)檢測(cè)結(jié)果；

所述多深度特征融合神經(jīng)網(wǎng)絡(luò)模型在編碼階段采用卷積進(jìn)行特征提取，具體為：

通過一個(gè)卷積層將圖像采樣到原始圖像的1/2；

通過兩個(gè)卷積層的輪廓支路捕獲圖像的淺層細(xì)節(jié)特征；

在解碼階段結(jié)合卷積和雙線性插值的上采樣方法還原輸入圖像的信息，輸出具有顯著性信息的特征圖，具體為：

利用重加權(quán)卷積結(jié)構(gòu)對(duì)輸入圖像進(jìn)行四次卷積，得到四組不同尺度的顯著性特征圖；

通過雙線性插值的方法將圖像上采樣為兩倍；

上采樣后的特征圖與編碼階段得到的對(duì)應(yīng)尺度特征圖進(jìn)行融合，形成多層級(jí)特征圖；

對(duì)多層級(jí)特征圖進(jìn)行卷積操作，維持通道數(shù)為類別數(shù)；

通過雙線性插值將多組不同尺度圖像上采樣相應(yīng)倍數(shù)，使得到的預(yù)測(cè)輸出圖與原圖尺寸相同；

所述重加權(quán)卷積結(jié)構(gòu)具體為：對(duì)基本的卷積單元引入一個(gè)通道權(quán)重存儲(chǔ)的分支支路，通過訓(xùn)練調(diào)整每個(gè)通道對(duì)顯著性貢獻(xiàn)的權(quán)重。

2.如權(quán)利要求1所述的一種多深度特征融合的圖像顯著性目標(biāo)檢測(cè)方法，其特征在于，加入輪廓檢測(cè)支路，通過多深度特征融合神經(jīng)網(wǎng)絡(luò)模型提取顯著性目標(biāo)輪廓特征信息，用輪廓特征細(xì)化待測(cè)目標(biāo)的邊界細(xì)節(jié)；然后將待檢測(cè)圖像的顯著性特征信息和顯著性目標(biāo)輪廓特征信息進(jìn)行融合。

3.如權(quán)利要求1所述的一種多深度特征融合的圖像顯著性目標(biāo)檢測(cè)方法，其特征在于，對(duì)于多深度特征融合神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練過程包括：

獲取設(shè)定場(chǎng)景下的不同圖像信息，對(duì)每一個(gè)圖像中的像素點(diǎn)，進(jìn)行二值化的顯著性標(biāo)注，確定標(biāo)簽，進(jìn)而形成訓(xùn)練集和測(cè)試集；

對(duì)訓(xùn)練集圖像進(jìn)行隨機(jī)縮放、裁剪、填充邊界和翻轉(zhuǎn)，以擴(kuò)充數(shù)據(jù)集；

通過計(jì)算圖像中每個(gè)像素點(diǎn)的均值和方差建立背景模型，將像素點(diǎn)歸一化，進(jìn)行特征的提取；

將提取的特征輸入到多深度特征融合神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練；

利用測(cè)試集圖像對(duì)訓(xùn)練完成的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行驗(yàn)證。

4.如權(quán)利要求3所述的一種多深度特征融合的圖像顯著性目標(biāo)檢測(cè)方法，其特征在于，通過計(jì)算圖像中每個(gè)像素點(diǎn)的均值和方差建立背景模型，將像素點(diǎn)歸一化，進(jìn)行特征的提取，具體過程包括：

計(jì)算所有圖像像素點(diǎn)的平均值和方差，得到背景模型；

圖像每一個(gè)像素點(diǎn)的像素值減去平均值并除以方差，得到滿足正態(tài)分布的數(shù)據(jù)。