[發明專利]層次化時域切分的視頻關注對象分割方法和裝置

有效

• 申請號: 201810083061.7
• 申請日: 2018-01-29
• 公開（公告）號: CN108460768B
• 公開（公告）日: 2020-11-10
• 發明（設計）人: 李甲;苑鵬程;谷大鑫;趙沁平
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T7/10
• 分類號: G06T7/10
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 胡艾青;劉芳

1.一種層次化時域切分的視頻關注對象分割方法，其特征在于，包括：

根據待處理的視頻，得到幀圖片序列，所述幀圖片序列為由所述視頻分解得到的時域連續的幀圖片；

對所述幀圖片序列迭代N次奇偶切分處理，獲得2^N個子幀序列，其中，所述奇偶切分處理為在每個待切分的父序列中將奇數次序的幀圖片確定為奇數幀序列，將偶數次序的幀圖片確定為偶數幀序列，所述2^N個子幀序列為迭代第N次奇偶切分處理中得到的奇數幀序列和偶數幀序列，N為大于或等于1的整數；

根據所述2^N個子幀序列，獲得2^N-1個共分割序列對，每個所述共分割序列對包含2個所述子幀序列；

用預設的共分割模型對所述共分割序列對中的幀圖片進行共分割處理，得到每個所述幀圖片中針對所述關注對象的分割圖；所述預設的共分割模型為預先訓練好的共分割模型；

所述用預設的共分割模型對所述共分割序列對中的幀圖片進行共分割處理，得到每個所述幀圖片中針對所述關注對象的分割圖，包括：

將每個所述共分割序列對中一個子幀序列的每個幀圖片，與另一個子幀序列的每個幀圖片分別配對，得到M1*M2個不同的幀圖片對，其中，所述M1為所述一個子幀序列中幀圖片的數量，所述M2為所述另一個子幀序列中幀圖片的數量；

以預設的共分割模型對每個所述幀圖片對中的2個幀圖片進行共分割，得到每個幀圖片對中每個幀圖片針對所述關注對象的共分割圖，其中所述共分割圖中僅剩余所述關注對象的圖像；

根據每個幀圖片的所有所述共分割圖，得到每個幀圖片中針對所述關注對象的分割圖，其中，所述分割圖的任一個像素點位置的值，為所述幀圖片的所有共分割圖在所述任一個像素點位置的平均值。

2.根據權利要求1所述的方法，其特征在于，在所述以預設的共分割模型對每個所述幀圖片對中的2個幀圖片進行共分割之前，還包括：

將每個幀圖片的尺寸都縮放至預設圖片尺寸；

將每個幀圖片中所有像素點位置的值都減去預設圖像均值。

3.根據權利要求1所述的方法，其特征在于，所述以預設的共分割模型對每個所述幀圖片對中的2個幀圖片進行共分割，得到每個幀圖片對中每個幀圖片針對所述關注對象的共分割圖，包括：

將每個幀圖片對中的2個幀圖片分別確定為第一輸入幀圖片和第二輸入幀圖片；

對所述第一輸入幀圖片和第二輸入幀圖片分別依次進行第一卷積處理、第二卷積處理、第一池化處理、第三卷積處理、第四卷積處理、第二池化處理，第五卷積處理、第六卷積處理、第七卷積處理、第三池化處理、第八卷積處理、第九卷積處理、第十卷積處理，得到與第一輸入幀圖片對應的第一中間處理結果和與第二輸入幀圖片對應的第二中間處理結果；

將所述第一中間處理結果和所述第二中間處理結果進行通道拼接，得到拼接結果；

對所述拼接結果進行降維卷積處理、第一融合卷積處理、第二融合卷積處理、第三融合卷積處理，得到共享處理結果；

將所述第一中間處理結果與所述共享處理結果進行通道拼接，得到第三中間處理結果，并將所述第二中間處理結果與所述共享處理結果進行通道拼接，得到第四中間處理結果；

對所述第三中間處理結果和所述第四中間處理結果分別依次進行第十一卷積處理、第十二卷積處理、第十三卷積處理、第十四卷積處理、反卷積處理，得到尺寸與所述第一輸入幀圖片一致的第一反卷積結果，以及尺寸與所述第二輸入幀圖片一致的第二反卷積結果；

根據所述第一反卷積結果得到與所述第一輸入幀圖片對應的第一輸出幀圖片，并根據所述第二反卷積結果得到與所述第二輸入幀圖片對應的第二輸出幀圖片，其中，所述第一輸出幀圖片和第二輸出幀圖片分別為所述每個幀圖片對中的2個幀圖片針對所述關注對象的共分割圖。