[發(fā)明專利]基于深度學(xué)習(xí)的無(wú)監(jiān)督視頻分割方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201711004135.5
• 申請(qǐng)日: 2017-10-24
• 公開(kāi)（公告）號(hào): CN107808389B
• 公開(kāi)（公告）日: 2020-04-17
• 發(fā)明（設(shè)計(jì)）人: 宋利;許經(jīng)緯;解蓉;張文軍
• 申請(qǐng)（專利權(quán)）人: 上海交通大學(xué)
• 主分類號(hào): G06T7/215
• 分類號(hào): G06T7/215;G06T7/194;G06N3/04;G06N3/08
• 代理公司: 上海恒慧知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 31317
• 代理人: 徐紅銀

本發(fā)明提供了一種基于深度學(xué)習(xí)的無(wú)監(jiān)督視頻分割方法，包括：建立編碼解碼深度神經(jīng)網(wǎng)絡(luò)，編碼解碼深度神經(jīng)網(wǎng)絡(luò)包括：靜態(tài)圖像分割流網(wǎng)絡(luò)、幀間信息分割流網(wǎng)絡(luò)以及融合網(wǎng)絡(luò)；靜態(tài)圖像分割流網(wǎng)絡(luò)用于對(duì)當(dāng)前視頻幀進(jìn)行前景背景分割處理，幀間信息分割流網(wǎng)絡(luò)用于對(duì)當(dāng)前視頻幀和下一視頻幀之間的光流場(chǎng)信息進(jìn)行運(yùn)動(dòng)物體的前景背景分割；將靜態(tài)圖像分割流網(wǎng)絡(luò)和幀間信息分割流網(wǎng)絡(luò)輸出的分割圖像通過(guò)融合網(wǎng)絡(luò)進(jìn)行融合后，得到視頻分割結(jié)果。本發(fā)明的靜態(tài)圖像分割流網(wǎng)絡(luò)用于高質(zhì)量的幀內(nèi)分割，幀間信息分割流網(wǎng)絡(luò)用于高質(zhì)量的光流場(chǎng)信息分割，兩路輸出通過(guò)最后的融合操作得到提升后的分割結(jié)果，從而可以根據(jù)有效的雙路輸出和融合操作得到較好的分割結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明涉及視頻處理技術(shù)領(lǐng)域，具體地，涉及基于深度學(xué)習(xí)的無(wú)監(jiān)督視頻分割方法。

背景技術(shù)

視頻分割指的是對(duì)視頻每一幀中的物體進(jìn)行前景背景分割得到二值圖的過(guò)程，其難點(diǎn)在于既要保證空間域(幀內(nèi))分割的稠密性，也要同時(shí)保證時(shí)間域(幀間信息)分割的連續(xù)性。高質(zhì)量的視頻分割是視頻編輯、視頻物體識(shí)別、視頻語(yǔ)義分析的基礎(chǔ)，因而具有非常重要的意義。

現(xiàn)有的視頻分割方法可根據(jù)其原理大致分為以下三類：

1)基于無(wú)監(jiān)督的傳統(tǒng)視頻分割方法

該類方法不需要人工參與標(biāo)注關(guān)鍵幀如(第一幀)信息，一般步驟是圖像分割加上幀間相似塊匹配，自動(dòng)分割給定視頻。如A.aktor and M.Irani等人在2014年BMVC發(fā)表的“Video segmentation by non-local consensus voting”一文中對(duì)每幀處理得到一些可能包含物體的分割(object proposal)，然后基于這些分割進(jìn)行幀間相似度檢測(cè)，篩選相似度最高的分割作為分割結(jié)果。該類方法的優(yōu)點(diǎn)是不需要人工干預(yù)，但需要計(jì)算大量的分割中間形式如超像素點(diǎn)(superpixels)等，消耗大量的時(shí)間和存儲(chǔ)空間。

2)基于半監(jiān)督的傳統(tǒng)視頻分割方法

該類方法一般需要人工參與標(biāo)注關(guān)鍵幀(如第一幀或前幾幀)信息，然后將這些標(biāo)注好的分割信息通過(guò)幀間傳遞的方式傳給后續(xù)所有幀。如Y.-H.Tsai,M.-H.Yang和M.J.Black等人在2016年CVPR發(fā)表的“Video segmentation via object flow”一文中提出使用全局圖的方法將所有幀放到一個(gè)圖中去，圖的邊代表幀間的相似度，最終通過(guò)求解圖的分割將標(biāo)記好的第一幀傳給后續(xù)的幀。該方法是傳統(tǒng)方法中準(zhǔn)確率最高的方法，因?yàn)樗趦?yōu)化過(guò)程中考慮了每一幀的信息，但由于全局圖求解的難度，計(jì)算分割的時(shí)間大大增加。這也是該類方法的共性—分割準(zhǔn)確率高但同時(shí)計(jì)算復(fù)雜度也很高。

3)基于深度學(xué)習(xí)的方法

隨著深度學(xué)習(xí)的發(fā)展，深度神經(jīng)網(wǎng)絡(luò)在圖像分類、分割、識(shí)別等領(lǐng)域都取得了比較好的結(jié)果，但在視頻領(lǐng)域受限于時(shí)間域較高的冗余度它還沒(méi)有完全發(fā)揮強(qiáng)大的作用。S.Caelles,K.Maninis,J.Pont-Tuset,L.Leal-Taixe,D.Cremers,and L.Van Gool等人于2017年CVPR發(fā)表的“One-shot video object segmentation”一文中提出視頻分割僅需要對(duì)視頻每幀進(jìn)行單幀分割，不需要依賴幀間信息。他們認(rèn)為幀間信息是冗余的，沒(méi)有必要的，而且很多情況下沒(méi)有準(zhǔn)確的幀間信息可以作為參考，因而他們給出的方案是訓(xùn)練一個(gè)強(qiáng)圖像分割網(wǎng)絡(luò)，然后在分割給定視頻時(shí)，對(duì)第一幀或前面若干幀進(jìn)行準(zhǔn)確標(biāo)注，用這些幀去微調(diào)(finetune)大網(wǎng)絡(luò)，最后用這個(gè)網(wǎng)絡(luò)去分割該視頻的其他幀。該方法有過(guò)擬合的可能性，且不能適用于大規(guī)模的視頻分割情景。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中的缺陷，本發(fā)明的目的是提供一種基于深度學(xué)習(xí)的無(wú)監(jiān)督視頻分割方法。

根據(jù)本發(fā)明提供的基于深度學(xué)習(xí)的無(wú)監(jiān)督視頻分割方法，包括：