[發明專利]一種基于圖像分類的全自動視頻分割方法及裝置

有效

• 申請號: 201210027544.8
• 申請日: 2012-02-08
• 公開（公告）號: CN102609723A
• 公開（公告）日: 2012-07-25
• 發明（設計）人: 戴瓊海;閆友為;楊鈾
• 申請（專利權）人: 清華大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張大威

1.一種基于圖像分類的全自動視頻分割方法，其特征在于，包括如下步驟：

輸入視頻圖像，檢測所述視頻圖像中的任意兩幀圖像的特征點，并對所述兩幀圖像的特征點進行匹配以得到多組匹配特征點對；

利用所述多組匹配的特征點對估計所述視頻圖像中的每個運動層的平面單應矩陣；

對所述視頻圖像進行顏色過分割，得到多個圖像過分割區域；

利用所述每個運動層的平面單應矩陣對所述多個圖像過分割區域進行分類以得到初始分割結果；

獲取所述視頻圖像中的物體的邊緣以及內部點；

將所述物體的邊緣的預定區域內的所有點作為未知點，根據所述初始分割結果和所述物體的邊緣以及內部點選取鄰近所述未知點的前景樣本點和背景樣本點，對所述前景樣本點、所述背景樣本點和所述未知點進行標記，對所述未知點進行分類以得到所述物體的優化邊緣。

2.如權利要求1所述的全自動視頻分割方法，其特征在于，采用尺度不變特征變換SIFT算子檢測所述視頻圖像中的任意兩幀圖像的特征點，包括如下步驟：

分別檢測所述視頻圖像中的任意兩幀圖像的特征點；

對所述兩幀圖像中的一幀的特征點與所述兩幀圖像中的另一幀的特征點的8個鄰域像素點進行顏色相似度比較，在所述8個鄰域像素點中選擇相似度最高的像素點作為所述兩幀圖像中的一幀的特征點的初始匹配特征點；

對所述兩幀圖像的另一幀的特征點與所述兩幀圖像中的一幀的特征點的8個鄰域像素點進行顏色相似度比較，在所述8個鄰域像素點中選擇相似度最高的像素點作為所述兩幀圖像中的另一幀的特征點的初始匹配特征點；

根據所述兩幀圖像中每幀的特征點的初始匹配特征點，得到多組匹配特征點對。

3.如權利要求1所述的全自動視頻分割方法，其特征在于，所述估計視頻圖像中的每個物體的平面單應矩陣，包括如下步驟：

利用所述每組匹配特征點對以及與當前匹配特征點對距離最近的第一預定數量的特征點進行單應矩陣估計，得到多個初始平面單應矩陣；

對所述多個初始平面單應矩陣進行篩選，得到所述視頻圖像中的每個運動層的平面單應矩陣。

4.如權利要求3所述的全自動視頻分割方法，其特征在于，所述對多個初始平面單應矩陣進行篩選，包括如下步驟：

將每個初始平面單應矩陣對應的特征點對的數量與特征點對數量閾值進行比較，當所述每個初始平面單應矩陣對應的特征點對的數量大于所述特征點對數量閾值，則保留所述始平面單應矩陣，否則刪除所述初始平面單應矩陣。

5.如權利要求1所述的全自動視頻分割方法，其特征在于，所述對視頻圖像進行顏色過分割，包括如下步驟：

掃描所述視頻圖像，查找所述視頻圖像中像素點的數量小于過分割像素點閾值的區域，將所述像素點的數量小于過分割像素點閾值的區域合并到鄰近區域中，并查找所述物體的邊緣穿過的區域，將所述物體的邊緣穿過的區域劃分為多個區域，得到所述多個圖像過分割區域。

6.如權利要求1所述的全自動視頻分割方法，其特征在于，所述利用所述每個運動層的平面單應矩陣對所述多個圖像過分割區域進行分類以得到初始分割結果，包括如下步驟：

將所述多個圖像過分割區域作為待分類結點，利用所述多個平面單應矩陣對所述視頻圖像進行圖像變換以得到目標圖像；

將所述目標圖像進行分類得到初始前景點和初始背景點。

7.如權利要求1所述的全自動視頻分割方法，其特征在于，采用洪泛算法獲取所述視頻圖像中的物體的邊緣，包括如下步驟：

掃描所述視頻圖像，記錄所述視頻圖像中物體所在行的最大值對應的像素點、所述物體所在行的最小值對應的像素點、所述物體所在列的最大值對應的像素點和所述物體所在列的最小值對應的像素點，得到所述物體的初始邊緣；

對所述初始邊緣中的斷開的多個邊緣進行連續化，得到所述物體的連續邊緣。

8.如權利要求7所述的全自動視頻分割方法，其特征在于，采用洪泛算法獲取所述視頻圖像中的物體的內部點，包括如下步驟：

選取所述視頻圖像中的一個像素點作為洪泛算法的初始種子點，考察所述初始種子點的鄰域內的第二預定數量的像素點，當所述初始種子點的鄰域內的第二預定數量的像素點沒有碰到所述物體的邊界時，則判斷所述初始種子點的鄰域內的第二預定數量的像素點為所述物體的內部點。