[發明專利]一種弱監督視頻物體分割方法及裝置

有效

• 申請號: 201810573374.0
• 申請日: 2018-06-06
• 公開（公告）號: CN108898618B
• 公開（公告）日: 2021-09-24
• 發明（設計）人: 張宗璞;馬汝輝;華揚;宋濤;管海兵
• 申請（專利權）人: 上海交通大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/11
• 代理公司: 上海旭誠知識產權代理有限公司 31220
• 代理人: 鄭立

本發明公開了一種弱監督視頻物體分割方法，包括構建視頻物體分割模型，輸入測試視頻首幀和測試物體邊界框后，基于迭代式算法對視頻分物體割模型進行預訓練；對測試視頻首幀后的每一幀中的測試物體邊界框進行追蹤；對測試視頻首幀后的每一幀進行像素級別的預測，生成當前幀的包含前后景信息的圖像掩碼；基于追蹤結果對圖像掩碼進行優化，得到當前幀的最終物體分割計算結果。本發明還公開了一種弱監督視頻物體分割裝置，包括弱監督視頻物體分割預訓練模塊、視頻物體追蹤模塊、視頻物體分割測試模塊和視頻物體分割優化模塊。本發明減少了視頻物體分割需要的人工成本，提升了視頻物體分割的性能。

技術領域

本發明涉及計算機視覺方向的視頻處理領域，尤其涉及一種弱監督視頻物體分割方法及裝置。

背景技術

視頻物體分割(Video Object Segmentation,VOS)是計算機視頻處理領域的熱點研究問題之一。視頻物體分割可以對視頻中的每一幀生成包含物體前后景信息的圖像掩碼。視頻物體分割框架生成的掩碼有著廣泛的應用，例如視頻編輯、自動駕駛、視頻監控、和基于視頻內容的視頻編碼應用等。目前該領域的主流方法包括監督式(Supervised VOS)、無監督式(Unsupervised VOS)、和半監督式(Semi-supervised VOS)視頻物體分割框架。

監督式視頻物體分割框架假定當前測試序列中，所有視頻幀具有人工標定的預先知識，并通過與使用者的交互，協同生成與改善視頻物體分割的圖像掩碼。此類方法不適用于自動化的視頻物體分割任務，因其通常在缺少人工介入的情況下性能不佳。無監督視頻物體分割框架假定不存在對當前視頻序列的任何預先知識，直接對每一個視頻幀進行物體分割。此類框架由于缺少針對當前視頻序列的上下文信息，往往因誤引入無關物體導致性能不佳。

半監督式視頻物體分割框架假定當前測試序列中，第一幀的人工標定信息已經給出。框架通過學習第一幀內的信息，提升分割框架在當前視頻序列中的測試準確度。然而，與監督式物體分割框架類似，半監督式框架需要人工標定第一幀的圖像掩碼。由于標定工作既費時又費力，此類框架在現實生活中的應用空間有限。與此同時，由于半監督式框架在對于第一幀進行學習的過程中難以控制過擬合(Over Fitting)現象的發生，這類框架在測試首幀以后的視頻幀時往往出現圖像掩碼中物體掩碼不完整的情況，顯著影響視頻物體分割性能。

除了視頻物體分割，視頻物體追蹤(Video Object Tracking,VOT)也是計算機視頻處理領域的另一熱點研究問題。視頻物體追蹤對視頻中的每一幀生成圍繞測試物體的邊界框，并根據視頻前后幀的關系持續更新邊界框的位置和大小。

因此，本領域的技術人員致力于開發一種弱監督視頻物體分割方法及裝置，將物體邊界框與視頻物體分割裝置進行融合，利用視頻物體追蹤輔助視頻物體分割，降低了人工標定成本，避免了無關物體的引入，提升了視頻物體分割性能。

發明內容

有鑒于現有技術的上述缺陷，本發明所要解決的技術問題是如何降低人工標定成本，如何避免無關物體引入，提升視頻物體分割性能。

為實現上述目的，本發明提供了一種弱監督視頻物體分割方法，包括以下步驟：

S01構建視頻物體分割模型，輸入測試視頻首幀和首幀中的測試物體邊界框后，基于迭代式算法對視頻分物體割模型進行預訓練；

S02對所述測試視頻首幀后的每一幀中的測試物體邊界框進行追蹤，更新所述測試物體邊界框；

S03基于步驟S02輸出的所述測試物體邊界框，對所述測試視頻首幀后的每一幀進行像素級別的預測，生成一張當前幀的包含前后景信息的圖像掩碼；

S04基于步驟S02輸出的結果，對步驟S03輸出的圖像掩碼進行優化，得到當前幀的最終物體分割計算結果。

進一步地，步驟S01中，所述首幀中的測試物體邊界框通過人工標定的方式獲得。