[發明專利]多媒體數據分類方法及裝置

在審

• 申請號: 201210498829.X
• 申請日: 2012-11-29
• 公開（公告）號: CN103853724A
• 公開（公告）日: 2014-06-11
• 發明（設計）人: 常江龍;徐法明;朱春波
• 申請（專利權）人: 三星電子（中國）研發中心;三星電子株式會社
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 謝安昆;宋志強

技術領域

本發明涉及多媒體技術領域，具體涉及多媒體數據分類方法及裝置。

背景技術

隨著多媒體數據量的激增，如何有效管理這些數據成了一個亟待解決的問題。現有的多媒體分類技術絕大多數都是基于文本的，而基于內容的多媒體分類技術，包括基于內容的視頻分類和基于內容的圖像分類技術還處于研究和發展階段。

現有的基于內容的視頻特征主要有視頻編輯特征、視頻動態特征、視頻靜態特征等。現有的基于內容的圖像特征主要有圖像顏色特征、圖像紋理特征、圖像形狀特征、圖像空間關系特征等。現有的基于內容的多媒體分類的機器學習和模式分類方法主要有貝葉斯決策方法、人工神經網絡、決策樹、線性判決函數、非參數技術等。現有的多媒體分類技術在分類類別上來看有二分類技術和多分類技術。

現有的基于內容的多媒體分類技術存在如下缺點：

一、現有的基于內容的多媒體分類技術大多提取視頻或者圖像的一種特征或少量幾種特征進行組合，比如提取顏色、紋理等基本特征，因此視頻、圖像的分類準確率有待提高。

二、現有的基于內容的多媒體分類技術在機器學習和模式分類方法上大多采用單個分類器來進行訓練和分類，對于組合學習和集成分類方法的利用不夠。

三、現有的基于內容的多媒體分類技術主要解決較為單一的問題，比如視頻分類中的單一體育視頻分類、卡通視頻分類等，圖像分類中的室內室外圖像分類、廣告圖像非廣告圖像分類等，對于通用性的、多類別的視頻和圖像分類問題處理不夠。

發明內容

本發明提供多媒體數據分類方法及裝置，以提高多媒體數據分類準確率。

本發明的技術方案是這樣實現的：

一種多媒體數據分類方法，該方法包括：

從每個原始多媒體數據中分別提取特征，所有數據的特征組成了原始特征集，且，當所述原始多媒體數據為視頻數據時，提取動態特征、編輯特征和靜態特征，當所述原始多媒體數據為圖像數據時，提取結構特征，以及顏色特征、紋理特征、形狀特征三者之一或任意組合；

對于每個類別，從原始特征集中選取該類別的訓練樣本，所有訓練樣本組成訓練集；

采用預設分類算法，對訓練集進行學習訓練，生成分類判決準則模型；

對于任一測試樣本，采用分類判決準則模型對該測試樣本進行計算，得到該測試樣本所屬的類別。

當所述特征為動態特征時，

所述提取特征包括：

對于視頻數據中的每兩相鄰幀YUV圖像，分別計算每幀圖像的亮度均值，計算該兩幀圖像的亮度均值的差值的絕對值，得到該兩幀圖像的亮度差，計算整個視頻數據的亮度差的均值，得到整個視頻數據的平均亮度變化差；

對于視頻數據中的每兩相鄰幀RGB圖像，分別計算每幀圖像的r的均值、g的均值、b的均值，計算該兩幀圖像的r的均值的差值的絕對值、g的均值的差值的絕對值、b的均值的差值的絕對值，得到該兩幀圖像的r差、g差、b差，計算整個視頻數據的r差的均值、g差的均值、b差的均值，得到整個視頻數據的平均r變化差、平均g變化差、平均b變化差；

對于視頻數據中的每兩相鄰幀圖像，計算該兩幀圖像之間的運動向量均值，計算整個視頻序列的平均運動向量均值；

平均亮度變化差、平均r變化差、平均g變化差、平均b變化差和平均運動向量均值構成了視頻數據的動態特征。

所述編輯特征包括：視頻鏡頭切變率、視頻鏡頭漸變率和靜止幀率。

當所述特征為視頻鏡頭切變率時，

所述提取特征包括：

對于視頻數據中的每兩相鄰幀YUV圖像，分別計算每幀圖像的y的均值、u的均值、v的均值，計算該兩幀圖像的y的均值的差值的絕對值、u的均值的差值的絕對值、v的均值的差值的絕對值，得到該兩幀圖像的y差、u差、v差；

判斷是否滿足：y差大于預設第一閾值、u差大于預設第二閾值、v差大于預設第三閾值，若是，確定該兩幀圖像為候選鏡頭切變幀，分別使用Sobel算子法對該兩幀圖像進行計算，分別得到兩個邊緣圖，計算該兩個邊緣圖中像素值的均值的差值的絕對值，若該差值的絕對值大于預設第四閾值，則計算該兩幀圖像之間的運動向量均值，若該運動向量均值大于預設第五閾值，則確定該兩幀圖像為鏡頭切變幀，將鏡頭切變數加1；

當對整個視頻數據檢測完畢時，計算鏡頭切變數與整個視頻數據幀數的比率，得到鏡頭切變率。

當所述特征為視頻鏡頭漸變率時，

所述提取特征包括：