[發(fā)明專利]用于對(duì)視頻序列的圖像的色彩進(jìn)行聚類的方法和色彩聚類設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201380043232.9
• 申請(qǐng)日: 2013-08-07
• 公開(kāi)（公告）號(hào): CN104584556B
• 公開(kāi)（公告）日: 2018-07-10
• 發(fā)明（設(shè)計(jì)）人: C.波里;J.克韋克;E.喬利
• 申請(qǐng)（專利權(quán)）人: 湯姆遜許可公司
• 主分類號(hào): H04N19/553
• 分類號(hào): H04N19/553;G06T7/11;G06T7/174
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 呂曉章

方法包含以下步驟：對(duì)于在前面的圖像(1)的后面的每個(gè)圖像(2)連續(xù)地，?基于與從所述前面的圖像(1)向所述后面的圖像(2)的運(yùn)動(dòng)相對(duì)應(yīng)的運(yùn)動(dòng)矢量的圖，建立所述后面的圖像(2)的像素掩模，?將所述像素掩模應(yīng)用于對(duì)應(yīng)的后面的圖像(2)，以便獲得對(duì)所述后面的圖像(2)的像素進(jìn)行采樣的對(duì)應(yīng)的掩蔽圖像。將該方法應(yīng)用于色彩聚類允許利用有限的計(jì)算機(jī)資源迭代地更新色彩集群。

技術(shù)領(lǐng)域

本發(fā)明涉及對(duì)視頻序列的圖像的色彩進(jìn)行聚類，并且特別涉及對(duì)色彩的特定的在先采樣。

背景技術(shù)

對(duì)色彩進(jìn)行聚類需要高計(jì)算資源。為了降低對(duì)計(jì)算資源的需求，一般在聚類之前對(duì)色彩進(jìn)行采樣。這種采樣的目的是減少必須被考慮用于進(jìn)行聚類的每個(gè)圖像中的像素的數(shù)量。例如，可以按照100的因數(shù)對(duì)圖像的像素進(jìn)行采樣。這意味著只有被采樣的像素才被用于對(duì)色彩進(jìn)行聚類：例如，考慮每個(gè)圖像的像素的1/100。優(yōu)選在不進(jìn)行任何濾波處理的情況下執(zhí)行采樣，以便不引入偽色彩，并且事實(shí)上，考慮未采樣色彩用于隨后的色彩聚類。為此，應(yīng)當(dāng)謹(jǐn)慎地確定二次采樣率，以在計(jì)算復(fù)雜度和精確度之間達(dá)到公平的平衡。作為這樣的采樣的示例，如果將視頻內(nèi)容的圖像格式化為1920x1080的HDTV(亦即，每個(gè)具有大約兩百萬(wàn)個(gè)像素)，則可以按照因數(shù)100對(duì)每個(gè)圖像進(jìn)行采樣，以取得100個(gè)格式為192x108(亦即，每個(gè)具有大約20,000像素)的子圖像。對(duì)于10行中的每行，在10個(gè)像素中取一個(gè)像素。

對(duì)于被采樣或未采樣色彩的聚類本身，關(guān)鍵要素是基于相似性將這些色彩組織成有意義的集群。在標(biāo)題為“Data clustering:A review”(在1999年9月公開(kāi)于ACMComputing Surveys，31(3)，頁(yè)264–323)的文章中，提議了寬泛的范圍的集群形成技術(shù)。根據(jù)該回顧，存在兩種類型的聚類算法，亦即，分層算法和分區(qū)算法。分區(qū)聚類算法在涉及大數(shù)據(jù)集的應(yīng)用中具有勝過(guò)分層方法的優(yōu)點(diǎn)。分區(qū)技術(shù)通常通過(guò)優(yōu)化準(zhǔn)則函數(shù)來(lái)生成集群。在分區(qū)聚類技術(shù)中最直觀并被頻繁使用的準(zhǔn)則函數(shù)是均方誤差準(zhǔn)則。K-means是利用均方誤差準(zhǔn)則的最簡(jiǎn)單且最常用的算法。其以隨機(jī)初始分區(qū)開(kāi)始，并且基于模式和集群中心之間的相似性保持向集群重新分配模式，直至滿足收斂準(zhǔn)則為止。k-means算法很流行，因?yàn)槠淙菀讓?shí)現(xiàn)，并且它的時(shí)間復(fù)雜度是O(n)，其中n是模式的數(shù)量。

在標(biāo)題為“Fast Video Object Segmentation Using Affine Motion AndGradient-Based Color Clustering”(公開(kāi)于1998年的IEEE Second Workshop onMultimedia Signal Processing(Cat.No.98EX175)的頁(yè)486-91)的文章中，作者Ju GuoJongwon Kim Kuo等公開(kāi)一種基于非參數(shù)梯度的迭代色彩聚類算法(被稱為均值移位算法)，該算法根據(jù)色彩相似性提供穩(wěn)健的初始主色彩。根據(jù)這種使用從先前的幀獲得的主色彩信息作為接下來(lái)的幀的初始種子的色彩聚類方法，可以將計(jì)算時(shí)間的量減少50％。

發(fā)明內(nèi)容

本發(fā)明的目的是進(jìn)一步減少視頻序列的色彩聚類所需的計(jì)算時(shí)間。

為此目的，本發(fā)明的主題是一種建立視頻序列中的前面的圖像的后面的圖像的像素掩模的方法，該方法包含以下步驟：

-建立與從所述前面的圖像向所述后面的圖像的運(yùn)動(dòng)相對(duì)應(yīng)的運(yùn)動(dòng)矢量的圖；

-通過(guò)將所述運(yùn)動(dòng)矢量的圖應(yīng)用于所述前面的圖像，產(chǎn)生關(guān)于所述后面的圖像的對(duì)所述前面的圖像進(jìn)行運(yùn)動(dòng)補(bǔ)償?shù)难a(bǔ)償圖像；以及

-根據(jù)所述補(bǔ)償圖像和所述前面的圖像之間的逐像素的差異，建立所述后面的圖像的像素掩模。

作為變型，本發(fā)明的主題還是一種建立視頻序列中的前面的圖像的后面的圖像的像素掩模的方法，該方法包含以下步驟：

-建立與從所述前面的圖像向所述后面的圖像的運(yùn)動(dòng)相對(duì)應(yīng)的運(yùn)動(dòng)矢量的圖；以及