[發(fā)明專利]運(yùn)動(dòng)特征提取方法和裝置，以及視頻處理裝置

無(wú)效

• 申請(qǐng)?zhí)枺?/td>: 201110335227.8
• 申請(qǐng)日: 2011-10-21
• 公開（公告）號(hào): CN103067646A
• 公開（公告）日: 2013-04-24
• 發(fā)明（設(shè)計(jì)）人: 王麗華
• 申請(qǐng)（專利權(quán)）人: 索尼公司
• 主分類號(hào): H04N5/14
• 分類號(hào): H04N5/14;H04N7/26;H04N7/36
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 朱勝;苗迎華

技術(shù)領(lǐng)域

本發(fā)明總體上涉及計(jì)算機(jī)視覺領(lǐng)域，更具體而言，涉及一種運(yùn)動(dòng)特征提取方法和裝置以及一種視頻處理裝置。?

背景技術(shù)

視頻的運(yùn)動(dòng)信息是通過分析同一視頻中不同幀之間的物體的相對(duì)位移得到的關(guān)于視頻中物體的運(yùn)動(dòng)、鏡頭變化以及整個(gè)畫面的移動(dòng)等信息。作為視頻中的重要信息，運(yùn)動(dòng)信息在計(jì)算機(jī)視覺領(lǐng)域的視頻分類、視頻檢索、視頻分段、運(yùn)動(dòng)物體檢測(cè)、事件檢測(cè)、鏡頭邊界檢測(cè)等問題中發(fā)揮著重要作用，有著廣泛的應(yīng)用。?

如何提取較高層次的運(yùn)動(dòng)特征，以便更加準(zhǔn)確全面地描述視頻的運(yùn)動(dòng)內(nèi)容，對(duì)于后續(xù)的視頻分析、檢測(cè)等有著重要影響。?

美國(guó)專利公開US?7,852,938B2提出了一種對(duì)運(yùn)動(dòng)矢量處理的方法。在所述方法中，建立運(yùn)動(dòng)矢量金字塔，金字塔的上一層的較大塊尺寸的運(yùn)動(dòng)矢量由相鄰下一層的較小塊尺寸的運(yùn)動(dòng)矢量合并而成，由此得到基于不同塊尺寸的運(yùn)動(dòng)矢量。但是此方法未對(duì)幀內(nèi)不同區(qū)域進(jìn)行區(qū)分。?

Xavier?Gibert，Huiping?Li和David?Doermann的“Sports?video?classification?using?HMMS”，Proceedings?of?International?Conference?on?Multimedia?&?Expo，pp.345-348，2003中公開了一種通過統(tǒng)計(jì)運(yùn)動(dòng)矢量直方圖來生成運(yùn)動(dòng)特征向量的方法。但此方法僅在整個(gè)幀的范圍內(nèi)統(tǒng)計(jì)直方圖，得到的結(jié)果缺乏對(duì)幀內(nèi)局部運(yùn)動(dòng)信息的描述。?

發(fā)明內(nèi)容

在下文中給出了關(guān)于本發(fā)明的簡(jiǎn)要概述，以便提供關(guān)于本發(fā)明的某些方面的基本理解。應(yīng)當(dāng)理解，這個(gè)概述并不是關(guān)于本發(fā)明的窮舉性概述。它并不是意圖確定本發(fā)明的關(guān)鍵或重要部分，也不是意圖限定本發(fā)明的范圍。其目的僅僅是以簡(jiǎn)化的形式給出某些概念，以此作為稍后論述的更詳?細(xì)描述的前序。?

本發(fā)明的一個(gè)目的是提出一種運(yùn)動(dòng)特征提取方法和裝置，以克服現(xiàn)有技術(shù)中的上述缺陷中的至少一種。本發(fā)明的另一目的是提出一種視頻處理裝置，以利用通過本發(fā)明的運(yùn)動(dòng)特征提取裝置提取的視頻中每一幀的運(yùn)動(dòng)特征對(duì)視頻進(jìn)行處理。?

根據(jù)本發(fā)明的一個(gè)方面，提供了一種運(yùn)動(dòng)特征提取方法，包括：將輸入圖像劃分為多個(gè)子區(qū)域，所述多個(gè)子區(qū)域形成嵌套的“回”字形結(jié)構(gòu)；從所述多個(gè)子區(qū)域構(gòu)造子區(qū)域金字塔，所述金字塔包含一層或多層子區(qū)域；生成金字塔的每層中的每個(gè)子區(qū)域的運(yùn)動(dòng)矢量直方圖；以及將金字塔的各個(gè)層中的子區(qū)域的運(yùn)動(dòng)矢量直方圖拼接，得到拼接的運(yùn)動(dòng)矢量直方圖，作為輸入圖像的運(yùn)動(dòng)特征。?

根據(jù)本發(fā)明的另一方面，提供了一種運(yùn)動(dòng)特征提取裝置，包括：子區(qū)域劃分部件，用于將輸入圖像劃分為多個(gè)子區(qū)域，所述多個(gè)子區(qū)域形成嵌套的“回”字形結(jié)構(gòu)；金字塔構(gòu)造部件，用于從所述多個(gè)子區(qū)域構(gòu)造子區(qū)域金字塔，所述金字塔包含一層或多層子區(qū)域；直方圖生成部件，用于生成金字塔的每層中的每個(gè)子區(qū)域的運(yùn)動(dòng)矢量直方圖；以及直方圖拼接部件，用于將金字塔的各個(gè)層中的子區(qū)域的運(yùn)動(dòng)矢量直方圖拼接，得到拼接的運(yùn)動(dòng)矢量直方圖，作為輸入圖像的運(yùn)動(dòng)特征。?

根據(jù)本發(fā)明的另一方面，提供了一種視頻處理裝置，包括：運(yùn)動(dòng)特征提取部件，用于提取待處理視頻中的每一幀輸入圖像的運(yùn)動(dòng)特征；以及視頻處理部件，用于利用每一幀的運(yùn)動(dòng)特征對(duì)視頻進(jìn)行處理，其中，所述運(yùn)動(dòng)特征提取部件包括：子區(qū)域劃分部件，用于將輸入圖像劃分為多個(gè)子區(qū)域，所述多個(gè)子區(qū)域形成嵌套的“回”字形結(jié)構(gòu)；金字塔構(gòu)造部件，用于從所述多個(gè)子區(qū)域構(gòu)造子區(qū)域金字塔，所述金字塔包含一層或多層子區(qū)域；直方圖生成部件，用于生成所述金字塔的每層中的每個(gè)子區(qū)域的運(yùn)動(dòng)矢量直方圖，以及直方圖拼接部件，用于將所述金字塔的各個(gè)層中的子區(qū)域的運(yùn)動(dòng)矢量直方圖拼接，得到拼接的運(yùn)動(dòng)矢量直方圖，作為所述輸入圖像的運(yùn)動(dòng)特征。?

使用根據(jù)本發(fā)明的以上方面的方法和裝置提取出的運(yùn)動(dòng)特征能夠準(zhǔn)確、全面地描述輸入圖像內(nèi)局部及整體的運(yùn)動(dòng)信息，同時(shí)能夠區(qū)分處理輸入圖像中前景和背景的運(yùn)動(dòng)信息。?

附圖說明

本發(fā)明可以通過參考下文中結(jié)合附圖所給出的描述而得到更好的理解，其中在所有附圖中使用了相同或相似的附圖標(biāo)記來表示相同或者相似的部件。所述附圖連同下面的詳細(xì)說明一起包含在本說明書中并且形成本說明書的一部分，而且用來進(jìn)一步舉例說明本發(fā)明的優(yōu)選實(shí)施例和解釋本發(fā)明的原理和優(yōu)點(diǎn)。在附圖中：?

圖1示出根據(jù)本發(fā)明的一個(gè)實(shí)施例的運(yùn)動(dòng)特征提取方法的示意性流程圖；?

圖2示出根據(jù)本發(fā)明的一個(gè)實(shí)施例的子區(qū)域劃分示例；?

圖3示出根據(jù)本發(fā)明的一個(gè)實(shí)施例的子區(qū)域金字塔構(gòu)造示例；?