[發(fā)明專利]一種基于全卷積臺(tái)標(biāo)分割網(wǎng)絡(luò)的臺(tái)標(biāo)分割方法

在審

• 申請?zhí)枺?/td>: 201711156139.5
• 申請日: 2017-11-20
• 公開（公告）號: CN108009629A
• 公開（公告）日: 2018-05-08
• 發(fā)明（設(shè)計(jì)）人: 張靜;徐佳宇;蘇育挺;劉安安
• 申請（專利權(quán)）人: 天津大學(xué)
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06T7/194;G06K9/62;G06K9/46
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 杜文茹

一種基于全卷積臺(tái)標(biāo)分割網(wǎng)絡(luò)的臺(tái)標(biāo)分割方法，構(gòu)建一個(gè)多類型的細(xì)粒度臺(tái)標(biāo)數(shù)據(jù)集，共有8400張圖像的臺(tái)標(biāo)圖像集，覆蓋42種類別；根據(jù)逐像素標(biāo)注的臺(tái)標(biāo)區(qū)域提取方法，建立與臺(tái)標(biāo)圖像集對應(yīng)的二值標(biāo)簽圖像集，并轉(zhuǎn)化為L類型的單通道灰度圖像集；建立端到端的編碼器?解碼器結(jié)構(gòu)的全卷積臺(tái)標(biāo)分割網(wǎng)絡(luò)，在臺(tái)標(biāo)數(shù)據(jù)集上對全卷積臺(tái)標(biāo)分割網(wǎng)絡(luò)進(jìn)行訓(xùn)練，將臺(tái)標(biāo)圖像集中任意尺寸的測試圖像輸入到訓(xùn)練好的全卷積臺(tái)標(biāo)分割網(wǎng)絡(luò)中，產(chǎn)生與輸入圖像相同尺寸的像素級分割結(jié)果。本發(fā)明有助于深度卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)強(qiáng)大的性能，解決了細(xì)微目標(biāo)分割中結(jié)果不夠精細(xì)的問題，網(wǎng)絡(luò)模型能勾畫出細(xì)微目標(biāo)，從而提高輸出的空間精度，適合應(yīng)用到細(xì)微目標(biāo)分割方法中。

技術(shù)領(lǐng)域

本發(fā)明涉及一種臺(tái)標(biāo)分割方法。特別是涉及一種基于全卷積臺(tái)標(biāo)分割網(wǎng)絡(luò)的臺(tái)標(biāo)分割方法。

背景技術(shù)

如今隨著各種視頻軟件的出現(xiàn)，海量視頻在網(wǎng)絡(luò)平臺(tái)上產(chǎn)生并實(shí)時(shí)傳播，對這些視頻進(jìn)行分類、收錄和分析等應(yīng)用的需求度與日俱增。由于臺(tái)標(biāo)包含視頻來源、取向和類別等重要信息，因此被視為視頻的重要標(biāo)識(shí)。通過分割臺(tái)標(biāo)以達(dá)到視頻分類的算法應(yīng)運(yùn)而生，由此在圖像分割技術(shù)要求方面帶來了巨大的挑戰(zhàn)。

特征提取是臺(tái)標(biāo)分割過程中的重要步驟，因此尋找更具描述能力的特征一直是科研人員追求的目標(biāo)。目前臺(tái)標(biāo)特征提取方法包括基于人工特征提取的方法和基于深度卷積特征提取的方法。

傳統(tǒng)臺(tái)標(biāo)分割方法基于人工特征的提取，包括形狀、顏色、邊緣、紋理、網(wǎng)格和主要成分分析等特征。形狀特征要求從視頻畫面中將臺(tái)標(biāo)完整分割出來，對其進(jìn)行描述。但由于臺(tái)標(biāo)域一般由復(fù)雜鏤空結(jié)構(gòu)組成，包含較多背景噪聲，現(xiàn)有圖像分割技術(shù)無法將二者完全分割。顏色特征具有較強(qiáng)的可分離性，但對于半透明型臺(tái)標(biāo)，由于視頻畫面良莠不齊或受背景顏色影響，臺(tái)標(biāo)顏色通常會(huì)發(fā)生變化，因此不穩(wěn)定的顏色特征會(huì)為臺(tái)標(biāo)分割帶來困難。網(wǎng)格和主要成分分析特征將區(qū)域內(nèi)所有內(nèi)容等同對待，但由于沒有充分考慮臺(tái)標(biāo)可能存在鏤空等結(jié)構(gòu)特點(diǎn)，該特征受背景影響也較大。

由于傳統(tǒng)的人工特征描述能力有限，無法達(dá)到預(yù)期的分割效果，而研究表明，深度卷積特征比人工特征擁有更強(qiáng)大的描述能力。同時(shí)隨著深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域的快速發(fā)展，基于深度卷積特征提取的臺(tái)標(biāo)分割方法獲得了更多的關(guān)注。深度卷積特征的加入，推動(dòng)臺(tái)標(biāo)圖像分割領(lǐng)域的研究和發(fā)展進(jìn)入一個(gè)新的階段。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是，提供一種能夠提高輸出的空間精度基于全卷積臺(tái)標(biāo)分割網(wǎng)絡(luò)的臺(tái)標(biāo)分割方法。

本發(fā)明所采用的技術(shù)方案是：一種基于全卷積臺(tái)標(biāo)分割網(wǎng)絡(luò)的臺(tái)標(biāo)分割方法，包括如下步驟：

1)構(gòu)建一個(gè)多類型的細(xì)粒度臺(tái)標(biāo)數(shù)據(jù)集，共有8400張圖像的臺(tái)標(biāo)圖像集，覆蓋42種類別；

2)根據(jù)逐像素標(biāo)注的臺(tái)標(biāo)區(qū)域提取方法，建立與臺(tái)標(biāo)圖像集對應(yīng)的二值標(biāo)簽圖像集，并轉(zhuǎn)化為L類型的單通道灰度圖像集；

3)建立端到端的編碼器-解碼器結(jié)構(gòu)的全卷積臺(tái)標(biāo)分割網(wǎng)絡(luò)，在臺(tái)標(biāo)數(shù)據(jù)集上對全卷積臺(tái)標(biāo)分割網(wǎng)絡(luò)進(jìn)行訓(xùn)練，將臺(tái)標(biāo)圖像集中任意尺寸的測試圖像輸入到訓(xùn)練好的全卷積臺(tái)標(biāo)分割網(wǎng)絡(luò)中，產(chǎn)生與輸入圖像相同尺寸的像素級分割結(jié)果。

步驟2)所述的逐像素標(biāo)注的臺(tái)標(biāo)區(qū)域提取方法，是對8400張圖像的臺(tái)標(biāo)圖像集中的每張圖像逐一標(biāo)注所有像素點(diǎn)，將顯著性臺(tái)標(biāo)區(qū)域中的每個(gè)像素值標(biāo)注為顯著性臺(tái)標(biāo)區(qū)域所屬的類別數(shù)，將背景區(qū)域中的每個(gè)像素值標(biāo)注為0，生成與臺(tái)標(biāo)圖像集對應(yīng)的有效標(biāo)注的二值標(biāo)簽圖像集，對整個(gè)標(biāo)簽圖像集進(jìn)行灰度化處理，得到L類型的單通道灰度圖像集。

步驟3)所述的建立端到端的編碼器-解碼器結(jié)構(gòu)的全卷積臺(tái)標(biāo)分割網(wǎng)絡(luò)，首先建立編碼器結(jié)構(gòu)，具體是刪除現(xiàn)有的分類網(wǎng)絡(luò)VGGNet中的全連接層，將剩余的部分構(gòu)成編碼器結(jié)構(gòu)；然后建立解碼器結(jié)構(gòu)，所述解碼器結(jié)構(gòu)與編碼器結(jié)構(gòu)相同，且在全卷積臺(tái)標(biāo)分割網(wǎng)絡(luò)中與編碼器結(jié)構(gòu)對稱設(shè)置，最后在解碼器結(jié)構(gòu)的上采樣過程中引入編碼器結(jié)構(gòu)中的最大池化索引，用于保證在特征提取過程中保留邊界信息。