[發(fā)明專利]對視頻中的運動矢量進行可靠性分類的方法和系統(tǒng)

無效

• 申請?zhí)枺?/td>: 200910119520.3
• 申請日: 2009-03-12
• 公開（公告）號: CN101833768A
• 公開（公告）日: 2010-09-15
• 發(fā)明（設計）人: 韓博;吳偉國;陳正華
• 申請（專利權）人: 索尼株式會社
• 主分類號: G06T7/20
• 分類號: G06T7/20;H04N7/26
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 周少杰

技術領域

本申請涉及視頻(運動圖像)的處理/分析。具體地說，本申請涉及一種對視頻中的運動矢量進行可靠性分類的方法和系統(tǒng)，用于將從視頻中提取出的運動信息(在本申請中指運動矢量)根據(jù)其可靠性進行分類。

背景技術

從視頻數(shù)據(jù)中提取的某一圖像區(qū)域的運動信息，是視頻的處理/分析中所普遍采用的一種重要特征，人們希望這類信息能夠較準確地反映視頻中的目標的運動。然而，視頻中若干像素點的集合并不一定是在空間中唯一、在時間上一成不變的。因此，通過已有方法獲得的運動信息中就只有部分是可靠的，能反映視頻目標的真實運動；而那些不可靠的運動信息則會給視頻的處理/分析帶來負面影響。所謂可靠指的是該運動準確地描述了該區(qū)域所對應的物理目標(或者卡通中對應的假想物理目標)在視頻的不同幀間的位置變化。

現(xiàn)有的有效的運動矢量搜索方法(以搜索范圍足夠大的全搜索為例)，搜索結果主要為可靠和不可靠兩種情況。現(xiàn)有的對視頻中的運動矢量進行可靠性評價的技術主要采用三類信息：圖像區(qū)域的紋理特征、圖像區(qū)域匹配的誤差特征和不同區(qū)域間的相關性信息。但現(xiàn)有的各種技術在應用中仍存在不足之處。

發(fā)明內(nèi)容

為了彌補現(xiàn)有技術在應用中的不足，達到辨識不可靠的運動矢量或者提取相應的可靠運動矢量的目的，本申請?zhí)岢隽艘环N新的、更加有效的運動矢量可靠性分類方法。

在實現(xiàn)本發(fā)明的一個實施方式中，提供一種對視頻中的運動矢量進行可靠性分類的方法，包括：分塊和搜索步驟，用于將輸入視頻的指定視頻幀分塊，并且對所述指定視頻幀的指定塊搜索運動矢量以便對所述指定塊生成塊匹配誤差；紋理特征提取步驟，用于提取所述指定塊的紋理特征；以及按塊分類步驟，用于根據(jù)所述指定塊的所述塊匹配誤差和紋理特征，對所述指定塊進行運動矢量可靠性分類，將運動矢量分為可靠、誤匹配、多匹配三類。

在實現(xiàn)本發(fā)明的另一個實施方式中，提供一種對視頻中的運動矢量進行可靠性分類的系統(tǒng)，包括：分塊和搜索模塊，用于將輸入視頻的指定視頻幀分塊，并且對所述指定視頻幀的指定塊搜索運動矢量以便對所述指定塊生成塊匹配誤差；紋理特征提取模塊，用于提取所述指定塊的紋理特征；以及按塊分類模塊，用于根據(jù)所述指定塊的所述塊匹配誤差和紋理特征，對所述指定塊進行運動矢量可靠性分類，將運動矢量分為可靠、誤匹配、多匹配三類。

在實現(xiàn)本發(fā)明的另一個實施方式中，提供一種對視頻中的運動矢量進行可靠性分類的方法，包括：按塊分類步驟，用于對將輸入視頻的指定視頻幀分塊得到的各塊進行運動矢量可靠性分類；以及按幀分類步驟，用于根據(jù)所述指定視頻幀內(nèi)的各塊的運動矢量可靠性分類，在所述指定視頻幀內(nèi)進行運動矢量可靠性分類優(yōu)化，以便獲得所述指定視頻幀內(nèi)各塊的運動矢量的最優(yōu)分類。

在實現(xiàn)本發(fā)明的另一個實施方式中，提供一種對視頻中的運動矢量進行可靠性分類的系統(tǒng)，包括：按塊分類模塊，用于對將輸入視頻的指定視頻幀分塊得到的各塊進行運動矢量可靠性分類；以及按幀分類模塊，用于根據(jù)所述指定視頻幀內(nèi)的各塊的運動矢量可靠性分類，在所述指定視頻幀內(nèi)進行運動矢量可靠性分類優(yōu)化，以便獲得所述指定視頻幀內(nèi)各塊的運動矢量的最優(yōu)分類。

在本發(fā)明的一個實施方式中，根據(jù)造成運動矢量不可靠的原因把不可靠運動矢量分為誤匹配和多匹配；這一分類方法引入的運動矢量的誤匹配和多匹配矢量在一些應用(例如視頻鏡頭轉換檢測)中提升了系統(tǒng)的性能。

在本發(fā)明的另一個實施方式中，利用了視頻圖像中相鄰區(qū)域之間運動矢量的相關性，提高了視頻運動矢量可靠性分類的正確率。

在本發(fā)明的另一個實施方式中，利用了統(tǒng)計方法對整個幀的運動矢量可靠性分類結果進行優(yōu)化，獲得整個幀的全局最優(yōu)結果，從而提高了視頻運動矢量可靠性分類的正確率。

在本發(fā)明的另一個實施方式中，融合并改進了圖像塊匹配誤差和圖像塊內(nèi)部紋理強度兩種矢量作為基本特征，并且通過利用圖像中相鄰塊之間運動矢量的相關性得到運動矢量分類的全局最優(yōu)結果。這使得運動矢量分類結果達到很高的正確率，例如，對誤匹配運動矢量，該實施方式的查全率(Recall，即本發(fā)明搜索到符合條件的運動矢量數(shù)量占符合該條件實際運動矢量數(shù)量的比率)和查準率(Precision，即，對于本發(fā)明搜索到符合條件的運動矢量，本發(fā)明得到的運動矢量可靠性分類與實際的運動矢量可靠性分類一致的比率)均可達到97％以上，對可靠運動矢量和多匹配運動矢量，查全率和查準率均可超過或接近90％。更高正確率的可靠性分類結果自然可以在一些應用(例如視頻全局運動估計)中進一步提升系統(tǒng)的性能。

附圖說明

圖1圖示了根據(jù)本發(fā)明的一個實施方式的方法的流程圖。