[發明專利]層次化時域切分的視頻關注對象分割方法和裝置

有效

• 申請號: 201810083061.7
• 申請日: 2018-01-29
• 公開（公告）號: CN108460768B
• 公開（公告）日: 2020-11-10
• 發明（設計）人: 李甲;苑鵬程;谷大鑫;趙沁平
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06T7/10
• 分類號: G06T7/10
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 胡艾青;劉芳

本發明提供一種層次化時域切分的視頻關注對象分割方法和裝置，通過根據待處理的視頻，得到幀圖片序列；對幀圖片序列迭代N次奇偶切分處理，獲得2^N個子幀序列，其中，奇偶切分處理為在每個待切分的父序列中將奇數次序的幀圖片確定為奇數幀序列，將偶數次序的幀圖片確定為偶數幀序列，2^N個子幀序列為迭代第N次奇偶切分處理中得到的奇數幀序列和偶數幀序列，N為大于或等于1的整數；根據2^N個子幀序列，獲得2^N?1個共分割序列對，每個共分割序列對包含2個子幀序列；根據預設的共分割模型和共分割序列對，得到每個幀圖片中針對關注對象的分割圖，實現自動對視頻的層次化切分處理，以及對關注對象快速分割。

技術領域

本發明涉及圖像處理技術，尤其涉及一種層次化時域切分的視頻關注對象分割方法和裝置。

背景技術

在視頻內容理解相關的技術中，為了模擬人的視覺關注特點，實現機器對視頻中的關注對象進行對象追蹤，場景重建和視頻檢索等操作，需要對視頻中的關注對象進行自動檢測和分割。

由于視頻和圖像在一定程度上是相似的，因此現有技術中對視頻內容的解析通常是轉化成單幀圖像內容的理解再加上幀間時空連續性的約束。現有的關注對象分割方法，通常是把待處理圖像分割成不同級別的超像素塊或者圖像塊，利用已經訓練好的模型對這些超像素塊或者圖像塊提取卷積神經網絡特征，之后利用得到的目標特征獲得待處理圖像的分割圖。

然而，現有的關注對象分割方法中需要人工參與，根據每次研究目標和得到的目標特征設計分割參數，以把待處理圖像分割成不同級別的超像素塊或者圖像塊，現有的關注對象分割方法還無法實現完全自動化的分割處理。

發明內容

本發明提供一種層次化時域切分的視頻關注對象分割方法和裝置，通過對視頻分解出的幀圖片序列迭代奇偶切分處理，對切分得到時域不連續的子幀序列進行共分割，得到每個幀圖片中針對所述關注對象的分割圖，移除了人工參與分割的過程，提高了分割圖的獲取效率和自動化程度。

根據本發明的第一方面，提供一種層次化時域切分的視頻關注對象分割方法，包括：

根據待處理的視頻，得到幀圖片序列，所述幀圖片序列為由所述視頻分解得到的時域連續的幀圖片；

對所述幀圖片序列迭代N次奇偶切分處理，獲得2^N個子幀序列，其中，所述奇偶切分處理為在每個待切分的父序列中將奇數次序的幀圖片確定為奇數幀序列，將偶數次序的幀圖片確定為偶數幀序列，所述2^N個子幀序列為迭代第N次奇偶切分處理中得到的奇數幀序列和偶數幀序列，N為大于或等于 1的整數；

根據所述2^N個子幀序列，獲得2^N-1個共分割序列對，每個所述共分割序列對包含2個所述子幀序列；

根據預設的共分割模型和所述共分割序列對，得到每個幀圖片中針對所述關注對象的分割圖。

可選地，所述根據預設的共分割模型和所述共分割序列對，得到每個幀圖片中針對所述關注對象的分割圖，包括：

將每個所述共分割序列對中一個子幀序列的每個幀圖片，與另一個子幀序列的每個幀圖片分別配對，得到M1*M2個不同的幀圖片對，其中，所述 M1為所述一個子幀序列中幀圖片的數量，所述M2為所述另一個子幀序列中幀圖片的數量；

以預設的共分割模型對每個所述幀圖片對中的2個幀圖片進行共分割，得到每個幀圖片對中每個幀圖片針對所述關注對象的共分割圖，其中所述共分割圖中僅剩余所述關注對象的圖像；

根據每個幀圖片的所有所述共分割圖，得到每個幀圖片中針對所述關注對象的分割圖，其中，所述分割圖的任一個像素點位置的值，為所述幀圖片的所有共分割圖在所述任一個像素點位置的平均值。