[發(fā)明專利]一種基于圖像分類的全自動(dòng)視頻分割方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201210027544.8
• 申請(qǐng)日: 2012-02-08
• 公開（公告）號(hào): CN102609723A
• 公開（公告）日: 2012-07-25
• 發(fā)明（設(shè)計(jì)）人: 戴瓊海;閆友為;楊鈾
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 張大威

技術(shù)領(lǐng)域

本發(fā)明涉及運(yùn)動(dòng)分割和圖像分類技術(shù)領(lǐng)域，特別涉及一種基于圖像分類的全自動(dòng)視頻分割方法及裝置。

背景技術(shù)

運(yùn)動(dòng)分割在圖像內(nèi)容識(shí)別、圖像編碼與傳輸和平面視頻轉(zhuǎn)立體視頻等領(lǐng)域中具有很重要的位置。傳統(tǒng)的運(yùn)動(dòng)分割分為兩類：第一類為半自動(dòng)運(yùn)動(dòng)分割方法，該類方法需要少量的人工輸入，由于預(yù)先指定了部分先驗(yàn)信息，使得分割結(jié)果比較準(zhǔn)確，但是人工輸入的工作量太大，很多時(shí)候不適用；第二類為全自動(dòng)分割方法，該類方法完全依賴視頻本身的信息，因此，對(duì)于運(yùn)動(dòng)信息和顏色信息不夠多的場景，得不到比較準(zhǔn)確的分割結(jié)果。

在運(yùn)動(dòng)分割領(lǐng)域，有些運(yùn)動(dòng)分割方法需要至少三幀圖像信息才能進(jìn)行分割，有些運(yùn)動(dòng)分割方法只能處理幀間存在小運(yùn)動(dòng)的視頻。為此提出了一種既能只利用連續(xù)兩幀圖像的信息，又能處理幀間存在大運(yùn)動(dòng)的視頻的方法。但是上述方法由于運(yùn)動(dòng)估計(jì)的不準(zhǔn)確性，以及進(jìn)行逐像素分類，使得分割的精度比較差。

發(fā)明內(nèi)容

本發(fā)明的目的旨在至少解決上述技術(shù)缺陷之一。

為此，本發(fā)明的第一個(gè)目的在于提出一種基于圖像分類的全自動(dòng)視頻分割方法，該方法可以有效地處理視頻幀間存在的大運(yùn)動(dòng)的場景，并且能夠全自動(dòng)的得到精確的視頻分割結(jié)果。

本發(fā)明的第二個(gè)目的在于提出一種基于圖像分類的全自動(dòng)視頻分割裝置。

為實(shí)現(xiàn)上述目的，本發(fā)明第一方面的實(shí)施例提出了一種基于圖像分類的全自動(dòng)視頻分割方法，包括如下步驟：

輸入視頻圖像，檢測所述視頻圖像中的任意兩幀圖像的特征點(diǎn)，并對(duì)所述兩幀圖像的特征點(diǎn)進(jìn)行匹配以得到多組匹配特征點(diǎn)對(duì)；

利用所述多組匹配的特征點(diǎn)對(duì)估計(jì)所述視頻圖像中的每個(gè)運(yùn)動(dòng)層的平面單應(yīng)矩陣；

對(duì)所述視頻圖像進(jìn)行顏色過分割，得到多個(gè)圖像過分割區(qū)域；

利用所述每個(gè)運(yùn)動(dòng)層的平面單應(yīng)矩陣對(duì)所述多個(gè)圖像過分割區(qū)域進(jìn)行分類以得到初始分割結(jié)果；

獲取所述視頻圖像中的物體的邊緣以及內(nèi)部點(diǎn)，將所述物體的邊緣的預(yù)定區(qū)域內(nèi)的所有點(diǎn)作為未知點(diǎn)，根據(jù)所述初始分割結(jié)果和所述物體的邊緣以及內(nèi)部點(diǎn)選取鄰近所述未知點(diǎn)的前景樣本點(diǎn)和背景樣本點(diǎn)；和

對(duì)所述前景樣本點(diǎn)、所述背景樣本點(diǎn)和所述未知點(diǎn)進(jìn)行標(biāo)記，對(duì)所述未知點(diǎn)進(jìn)行分類以得到所述物體的優(yōu)化邊緣。

根據(jù)本發(fā)明實(shí)施例的基于圖像分類的全自動(dòng)視頻分割方法，可以有效地處理視頻幀間存在的大運(yùn)動(dòng)的場景，并且能夠全自動(dòng)地得到精確的視頻分割結(jié)果。

本發(fā)明第二方面的實(shí)施例提出了一種基于圖像分類的全自動(dòng)視頻分割裝置，包括：匹配模塊，所述匹配模塊用于輸入視頻圖像，檢測所述視頻圖像中的任意兩幀圖像的特征點(diǎn)，并對(duì)所述兩幀圖像的特征點(diǎn)進(jìn)行匹配以得到多組匹配特征點(diǎn)對(duì)；平面單應(yīng)矩陣估計(jì)模塊，所述平面單應(yīng)矩陣估計(jì)模塊與所述匹配模塊相連，利用所述多組匹配的特征點(diǎn)對(duì)估計(jì)所述視頻圖像中的每個(gè)運(yùn)動(dòng)層的平面單應(yīng)矩陣；圖像過分割模塊，所述圖像過分割模塊與所述平面單元矩陣估計(jì)模塊相連，用于對(duì)所述視頻圖像進(jìn)行顏色過分割，得到多個(gè)圖像過分割區(qū)域；區(qū)域分類模塊，所述區(qū)域分類模塊與所述圖像過分割模塊相連，利用所述每個(gè)運(yùn)動(dòng)層的平面單應(yīng)矩陣對(duì)所述多個(gè)圖像過分割區(qū)域進(jìn)行分類以得到初始分割結(jié)果；樣本點(diǎn)選取模塊，所述樣本點(diǎn)選取模塊與所述區(qū)域分類模塊相連，用于獲取所述視頻圖像中的物體的邊緣以及內(nèi)部點(diǎn)，將所述物體的邊緣的預(yù)定區(qū)域內(nèi)的所有點(diǎn)作為未知點(diǎn)，根據(jù)所述初始分割結(jié)果和所述物體的邊緣以及內(nèi)部點(diǎn)選取鄰近所述未知點(diǎn)的前景樣本點(diǎn)和背景樣本點(diǎn)；邊緣獲取模塊，所述邊緣獲取模塊與所述樣本點(diǎn)選取模塊相連，用于對(duì)所述前景樣本點(diǎn)、所述背景樣本點(diǎn)和所述未知點(diǎn)進(jìn)行標(biāo)記，對(duì)所述未知點(diǎn)進(jìn)行分類以得到所述物體的優(yōu)化邊緣。

根據(jù)本發(fā)明實(shí)施例的基于圖像分類的全自動(dòng)視頻分割裝置，可以有效地處理視頻幀間存在的大運(yùn)動(dòng)的場景，并且能夠全自動(dòng)地得到精確的視頻分割結(jié)果。

本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實(shí)踐了解到。

附圖說明

本發(fā)明上述的和/或附加的方面和優(yōu)點(diǎn)從下面結(jié)合附圖對(duì)實(shí)施例的描述中將變得明顯和容易理解，其中：

圖1為根據(jù)本發(fā)明實(shí)施例的基于圖像分類的全自動(dòng)視頻分割方法的流程圖；

圖2為根據(jù)本發(fā)明實(shí)施例的基于圖像分類的全自動(dòng)視頻分割裝置的示意圖。

具體實(shí)施方式