[發明專利]基于弱監督學習的視頻目標分割方法

在審

• 申請號: 202210361706.5
• 申請日: 2022-04-07
• 公開（公告）號: CN114743002A
• 公開（公告）日: 2022-07-12
• 發明（設計）人: 袁春;羅莉舒;吳航昊
• 申請（專利權）人: 清華大學深圳國際研究生院
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/774;G06V10/776;G06V20/40;G06K9/62
• 代理公司: 深圳新創友知識產權代理有限公司 44223
• 代理人: 江耀純

本發明提供了基于弱監督學習的視頻目標分割方法和裝置，該方法包括步驟：S1、輸入原視頻和定位框：輸入原視頻，經過抽幀得到得到各個幀的二維圖像，同時還得到各個幀的目標定位框，進行定位框級別的定位；根據定位框在原圖上進行切割，得到最后的切割后的圖像；S2、將切割后的圖像和所述目標定位框輸入管道分割模型后得到當前幀的分割掩碼即偽標簽；S3、用偽標簽對視頻目標分割模型進行訓練。本發明可取得較高的分割精度、提升偽標簽的質量、改善原本對每個視頻幀獨立進行檢測框到分割掩碼分割造成的連續性差、物品遮擋漏檢等問題，模型更具魯棒性。

技術領域

本發明涉及計算機視覺技術領域，特別涉及基于弱監督學習的視頻目標分割 方法。

背景技術

針對視頻目標分割任務，現在主流的方法是基于全監督的視頻目標分割，方 法包括時空記憶力模型(Space-Time MemoryNetworks,STM)，前后背景融合模型(Collaborative video object segmentation by foreground-backgroundintegration, CFBI)，小樣本學習器模型(Learning what to learn for video objectsegmentation, LWL)。這一類方法在訓練階段需要大量精標注的視頻數據集，也就是要逐幀逐 像素對這些視頻進行標注。在預測階段需要提供每個視頻的第一幀分割掩碼，作 為模版告訴模型需要追蹤哪些物體。全監督學習方法雖然能夠得到較高的分割精 度，但是這類方法過度依賴逐幀逐像素精標注的視頻訓練集，人工標注成本過高， 且幀與幀之間往往較為相似，導致標注中有很多重復工作。

還有一類相似工作是只使用無標注視頻學習的無監督視頻目標分割。這類方 法訓練過程是無監督的，主要利用了視頻中的自然屬性(如時序一致性、顏色等) 作為監督信號，學習到高級別的語義信息，然后用到視頻目標分割任務上進行評 測。或者是把在靜態圖像上學習到的特征提取方法，遷移到視頻上，用到視頻語 義學習。這類方法不再依靠大規模精標注的數據集，但是由于沒有第一幀分割掩 碼的指導，他們的最終效果和全監督的視頻目標分割方法還是有較大的差距。

目前也有個別研究者提出了弱監督的視頻目標分割，也就是利用比分割掩碼 更粗粒度的標簽(比如定位框、多邊形、點)來進行訓練，使模型能夠學習到分 割的功能。例如研究者Paul Voigtlaender提出了一種半自動視頻標注方法，即使 用檢測框到分割掩碼(Bounding box to segmentation mask,簡稱box2seg)模型，先 用定位框生成分割掩碼作為偽標簽，再用人工對偽標簽進行精修，最終用來訓練 視頻目標分割網絡。但是缺點在于他們使用的檢測框到分割掩碼模型是在靜態圖 像上訓練的，分割效果不穩定；另一方面他們引入了人工進行交互式修正，成本 依然較高。

本發明的背景部分可以包含關于本發明的問題或環境的背景信息，而不一定 是描述現有技術。因此，在背景技術部分中包含的內容并不是申請人對現有技術 的承認。

發明內容

本發明目的在于提供基于弱監督學習的視頻目標分割方法，以克服傳統檢測 框到分割掩碼模型不能利用時序信息導致分割效果不穩定以及引入人工進行交 互式修正導致成本較高的問題。

為實現上述發明目的，本發明采用以下技術方案：

基于弱監督學習的視頻目標分割方法，包括如下步驟：

S1、輸入原視頻和定位框：輸入原視頻，經過抽幀得到得到各個幀的二維圖 像，同時還得到各個幀的目標定位框，進行定位框級別的定位；根據定位框在原 圖上進行切割，得到最后的切割后的圖像；

S2、將所述切割后的圖像和所述目標定位框輸入管道分割模型后得到當前幀 的分割掩碼即偽標簽；

S3、用所述偽標簽對視頻目標分割模型進行訓練。

進一步地：