[發(fā)明專利]基于深度學習的無監(jiān)督視頻分割方法

有效

• 申請?zhí)枺?/td>: 201711004135.5
• 申請日: 2017-10-24
• 公開（公告）號: CN107808389B
• 公開（公告）日: 2020-04-17
• 發(fā)明（設(shè)計）人: 宋利;許經(jīng)緯;解蓉;張文軍
• 申請（專利權(quán)）人: 上海交通大學
• 主分類號: G06T7/215
• 分類號: G06T7/215;G06T7/194;G06N3/04;G06N3/08
• 代理公司: 上海恒慧知識產(chǎn)權(quán)代理事務所(特殊普通合伙) 31317
• 代理人: 徐紅銀

1.一種基于深度學習的無監(jiān)督視頻分割方法，其特征在于，包括：

建立編碼解碼深度神經(jīng)網(wǎng)絡(luò)，所述編碼解碼深度神經(jīng)網(wǎng)絡(luò)包括：靜態(tài)圖像分割流網(wǎng)絡(luò)、幀間信息分割流網(wǎng)絡(luò)以及融合網(wǎng)絡(luò)；其中，所述靜態(tài)圖像分割流網(wǎng)絡(luò)用于對當前視頻幀進行前景背景分割處理，所述幀間信息分割流網(wǎng)絡(luò)用于對所述當前視頻幀和下一視頻幀之間的光流場信息進行運動物體的前景背景分割；

將所述靜態(tài)圖像分割流網(wǎng)絡(luò)和幀間信息分割流網(wǎng)絡(luò)輸出的分割圖像通過所述融合網(wǎng)絡(luò)進行融合后，得到視頻分割結(jié)果。

2.根據(jù)權(quán)利要求1所述的基于深度學習的無監(jiān)督視頻分割方法，其特征在于，所述建立編碼解碼深度神經(jīng)網(wǎng)絡(luò)，包括：

建立靜態(tài)圖像分割流網(wǎng)絡(luò)，并通過已經(jīng)進行靜態(tài)圖像分割的圖像對所述靜態(tài)圖像分割流網(wǎng)絡(luò)進行訓練；

建立幀間信息分割流網(wǎng)絡(luò)，并通過已經(jīng)進行幀間信息分割的視頻對所述幀間信息分割流網(wǎng)絡(luò)進行訓練；

利用完全標注的視頻分割數(shù)據(jù)訓練所述編碼解碼深度神經(jīng)網(wǎng)絡(luò)。

3.根據(jù)權(quán)利要求2所述的基于深度學習的無監(jiān)督視頻分割方法，其特征在于，所述靜態(tài)圖像分割流網(wǎng)絡(luò)包括：全卷積網(wǎng)絡(luò)構(gòu)成的編碼部分和解碼部分，其中，

編碼部分的全卷積網(wǎng)絡(luò)包括：五層級聯(lián)的廣義卷積層和與第五層廣義卷積層級聯(lián)的一層擴張卷積層，位于第六層的所述擴張卷積層包括四類不同尺度的擴張，每一類構(gòu)成一個輸出路，四類輸出路的輸出結(jié)果的平均值為所述編碼部分的輸出結(jié)果；

解碼部分的全卷積網(wǎng)絡(luò)為：三層循環(huán)卷積層和三層上采樣層構(gòu)成的全卷積網(wǎng)絡(luò)；所述解碼部分的全卷積網(wǎng)絡(luò)，用于輸出與輸入圖片分辨率一致的圖片分割結(jié)果。

4.根據(jù)權(quán)利要求3所述的基于深度學習的無監(jiān)督視頻分割方法，其特征在于，編碼部分的全卷積網(wǎng)絡(luò)中五層廣義卷積層包括級聯(lián)的第一廣義卷積層、第二廣義卷積層、第三廣義卷積層、第四廣義卷積層、第五廣義卷積層，其中：

第一廣義卷積層依次包括：卷積層A11、激活層、卷積層A12、激活層、池化層；

第二廣義卷積層依次包括：卷積層A21、激活層、卷積層A22、激活層、池化層；

第三廣義卷積層依次包括：卷積層A31、激活層、卷積層A32、激活層、卷積層A33、激活層、池化層；

第四廣義卷積層依次包括：卷積層A41、激活層、卷積層A42、激活層、卷積層A43、激活層、池化層；

第五廣義卷積層依次包括：卷積層A51、激活層、卷積層A52、激活層、卷積層A53、激活層、池化層；

編碼部分的全卷積網(wǎng)絡(luò)中與第五層廣義卷積層級聯(lián)的所述擴張卷積層的包括：并聯(lián)的四類擴張卷積層，其中：

第一類擴張卷積層依次包括：第一尺度擴張卷積層、激活層、隨機丟棄層、卷積層、激活層、隨機丟棄層、卷積層；

第二類擴張卷積層依次包括：第二尺度擴張卷積層、激活層、隨機丟棄層、卷積層、激活層、隨機丟棄層、卷積層；

第三類擴張卷積層依次包括：第三尺度擴張卷積層、激活層、隨機丟棄層、卷積層、激活層、隨機丟棄層、卷積層；

第四類擴張卷積層依次包括：第四尺度擴張卷積層、激活層、隨機丟棄層、卷積層、激活層、隨機丟棄層、卷積層。

5.根據(jù)權(quán)利要求4所述的基于深度學習的無監(jiān)督視頻分割方法，其特征在于，解碼部分的全卷積網(wǎng)絡(luò)中，每層上采樣層與相應的循環(huán)卷積層級聯(lián)，其中：

第一上采樣層與第三循環(huán)卷積層級聯(lián)，所述第一上采樣層用于對上一層的輸出進行兩倍上采樣；所述第三循環(huán)卷積層用于將編碼部分卷積層A33的輸出進行卷積處理并和第一上采樣層的輸出進行循環(huán)卷積操作；

第二上采樣層與第二循環(huán)卷積層級聯(lián)，所述第二上采樣層用于對上一層的輸出進行兩倍上采樣；所述第二循環(huán)卷積層用于將編碼部分卷積層A22的輸出進行卷積處理并和第二上采樣層的輸出進行循環(huán)卷積操作；

第三上采樣層與第一循環(huán)卷積層級聯(lián)，所述第三上采樣層用于對上一層的輸出進行兩倍上采樣；所述第一循環(huán)卷積層用于將編碼部分卷積層A12的輸出進行卷積處理并和第三上采樣層的輸出進行循環(huán)卷積操作。