[發明專利]一種弱監督視頻物體分割方法及裝置

有效

• 申請號: 201810573374.0
• 申請日: 2018-06-06
• 公開（公告）號: CN108898618B
• 公開（公告）日: 2021-09-24
• 發明（設計）人: 張宗璞;馬汝輝;華揚;宋濤;管海兵
• 申請（專利權）人: 上海交通大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/11
• 代理公司: 上海旭誠知識產權代理有限公司 31220
• 代理人: 鄭立

1.一種弱監督視頻物體分割方法，其特征在于，包括以下步驟：

S01構建視頻物體分割模型，輸入測試視頻首幀和首幀中的測試物體邊界框后，基于迭代式算法對視頻分物體割模型進行預訓練；

S02對所述測試視頻首幀后的每一幀中的測試物體邊界框進行追蹤，更新所述測試物體邊界框；

S03基于步驟S02輸出的所述測試物體邊界框，對所述測試視頻首幀后的每一幀進行像素級別的預測，生成一張當前幀的包含前后景信息的圖像掩碼；

S04基于步驟S02輸出的結果，對步驟S03輸出的圖像掩碼進行優化，得到當前幀的最終物體分割計算結果。

2.如權利要求1所述的弱監督視頻物體分割方法，其特征在于，步驟S01中，所述首幀中的測試物體邊界框通過人工標定的方式獲得。

3.如權利要求1所述的弱監督視頻物體分割方法，其特征在于，步驟S01中，基于迭代式算法對視頻物體分割模型進行預訓練的步驟包括：

S11利用當前視頻物體分割模型，生成對于測試視頻首幀的圖像掩碼；

S12基于首幀中的測試物體邊界框，對所述測試視頻首幀的圖像掩碼進行優化；

S13使用優化后的圖像掩碼訓練當前視頻物體分割模型；

S14重復步驟S11至S13，達到迭代次數后結束。

4.如權利要求3所述的弱監督視頻物體分割方法，其特征在于，步驟S12中，對所述測試視頻首幀的圖像掩碼進行優化，包括刪除無關物體、補全測試物體的缺失部分。

5.如權利要求1所述的弱監督視頻物體分割方法，其特征在于，步驟S02中，所述測試物體邊界框包括所述測試物體的位置信息和尺寸信息。

6.如權利要求1所述的弱監督視頻物體分割方法，其特征在于，步驟S03中，預測的范圍是所述測試物體附近的子區域，所述子區域由所述測試物體邊界框給出。

7.如權利要求1所述的弱監督視頻物體分割方法，其特征在于，步驟S04中，對步驟S03輸出的圖像掩碼進行優化包括：

去除無關物體；

根據所述測試物體邊界框優化所述測試物體的邊緣；

根據所述測試物體邊界框平滑所述測試物體的缺損。

8.一種弱監督視頻物體分割裝置，其特征在于，包括弱監督視頻物體分割預訓練模塊、視頻物體追蹤模塊、視頻物體分割測試模塊和視頻物體分割優化模塊：

所述弱監督視頻物體分割預訓練模塊通過輸入測試物體邊界框與測試視頻首幀，利用基于迭代式算法對視頻物體分割模型進行預訓練；

所述視頻物體追蹤模塊用于塊對測試視頻首幀以后的每一幀中測試物體的邊界框進行追蹤，從而對物體的位置和大小進行準確的預測；

所述視頻物體分割測試模塊用于對測試視頻首幀以后的每一幀進行像素級別的預測，生成一張區分前景與背景的圖像掩碼；

所述視頻物體分割優化模塊利用所述視頻物體追蹤模塊生成的測試物體邊界框，對所述視頻物體分割測試模塊生成的圖像掩碼進行優化。

9.如權利要求8所述的弱監督視頻物體分割裝置，其特征在于，工作流程包括：

步驟1、弱監督視頻物體分割裝置開始運行，所述弱監督視頻物體分割預訓練模塊利用測試物體邊界框與測試視頻首幀，基于迭代式算法生成用于視頻分割模型預訓練的首幀圖像掩碼，并執行預訓練；

步驟2、所述視頻物體追蹤模塊對測試視頻首幀以后每一幀中測試物體的邊界框進行追蹤，并將追蹤結果傳遞給所述視頻物體分割測試模塊；

步驟3、所述視頻物體分割測試模塊基于所述視頻物體追蹤模塊給出的測試物體邊界框，對測試視頻首幀以后每一幀中測試物體附近的子區域進行像素級預測，生成包含前后景信息的圖像掩碼，并將所述圖像掩碼傳遞給所述視頻物體分割優化模塊；

步驟4、所述視頻物體分割優化模塊利用所述視頻物體追蹤模塊輸出的測試物體邊界框，對所述視頻物體分割測試模塊生成的圖像掩碼進行優化，生成對于當前幀的最終物體分割計算結果。

10.如權利要求9所述的弱監督視頻物體分割裝置，其特征在于，若所述測試視頻存在待測幀，重復步驟2至步驟4。