[發明專利]一種自動分割和分類體育視頻鏡頭的方法和裝置

無效

• 申請號: 200610171524.2
• 申請日: 2006-12-30
• 公開（公告）號: CN101211460A
• 公開（公告）日: 2008-07-02
• 發明（設計）人: 楊穎;林守勛;張勇東
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06T7/20
• 分類號: G06T7/20;H04N5/14
• 代理公司: 北京泛華偉業知識產權代理有限公司
• 代理人: 高存秀

技術領域

本發明涉及視頻鏡頭分割方法及其裝置，特別是涉及一種對于體育視頻鏡頭自動分割和分類的方法和裝置。

背景技術

在體育視頻中，鏡頭是體育視頻的基本結構單元，體育視頻鏡頭通常指的是由單一相機視角拍攝所形成一組連續的圖像幀。不同類型的體育視頻鏡頭表現了不同的語義內容，如遠景鏡頭通常反映的是比賽的全局情況，而中景鏡頭通常是對比賽隊員的動作跟蹤，而特寫鏡頭通常是對隊員和裁判的近距離特寫，一般出現在比賽的暫停階段。體育視頻的鏡頭分割可以采用一般視頻的分割方法，通過相鄰幀的相似程度得到鏡頭的邊界，但是現有方法沒有考慮體育視頻鏡頭的特殊性，即運動快，結構具有重復性等特點，因此鏡頭分割結果并不準確。對于體育視頻鏡頭分類，現有的一些方法主要采用領域知識和特定的規則，如根據草色比例和人員大小對足球視頻鏡頭分割和分類，這些方法能夠對特定的體育視頻取得很好的效果，但是不具有通用性，不用的體育視頻要根據各自的特點推導出不同的分類規則。

另一方面，體育視頻的類型眾多，但是大致可以分成遠景、中景和特寫三種鏡頭類型。體育視頻鏡頭分割和分類的目的就是從體育視頻中將這三類鏡頭分割出來并標注其鏡頭類型，從而為體育視頻建立結構化的索引。但是鑒于不同的體育視頻的鏡頭具有不同的表現形式，要求所選取的鏡頭特征既能代表不同鏡頭類型的特點，又具有通用性以便能夠適用在不同的體育視頻上。

發明內容

本發明的目的是提供一種通用的體育視頻鏡頭分割和分類方法，能夠自動的對體育視頻鏡頭進行分割和分類，從而為體育視頻建立結構索引，進一步的用于體育視頻的語義內容分析。

為此，本發明選取了顏色和運動兩個特征作為通用的鏡頭特征，通過提取顏色和運動信息的差分得到更為精準的鏡頭特征。由于鏡頭是由一組連續的視頻幀構成，也就是一段時序信號流，因此對體育視頻鏡頭進行分割和分類需要建立合適的時序模型來模擬鏡頭中的時序信號的轉換。而隱馬爾可夫模型能夠很好的解釋時序信號的變化，本發明采用隱馬爾可夫模型為每種鏡頭類型建模。而一段體育視頻可以看作是不同類型鏡頭之間的連接和轉換，所以對于一段未知的體育視頻流，鏡頭分割和分類任務可以看成找到一條最佳的鏡頭模型連接和轉換序列。為此，本發明構造了一種鏡頭網絡，它包括所有可能的鏡頭模型序列，其中網絡中的每條路徑對應一種鏡頭模型序列，找到最佳的路徑也就找到了最佳的鏡頭分割和分類結果。實現了鏡頭分割和分類的同時進行，提高了鏡頭分割和分類的處理速度。

根據本發明的第一方面，提供了一種體育視頻鏡頭自動分割和分類的方法，該方法包括下列步驟：1)將一個鏡頭分成多個鏡頭采樣單元(Shot?Sample?Unit-SSU)的序列；2)根據每個SSU中的視頻幀計算每個SSU的顏色相關特征和運動相關特征；3)根據HMM(隱馬爾可夫模型)鏡頭模型通過鏡頭網絡計算每個鏡頭模型的對數概率；4)選取對數概率(log概率)和最大的模型序列，其中，該序列中的各個模型的狀態序列與相應的SSU序列對應。

根據本發明的第二方面，提供了一種體育視頻鏡頭自動分割和分類的裝置，包括下列部件：1)將一個鏡頭分成多個鏡頭采樣單元(SSU)的序列的部件；2)根據每個SSU中的視頻幀計算每個SSU的顏色相關特征和運動相關特征的部件；3)根據HMM(隱馬爾可夫模型)鏡頭模型通過鏡頭網絡計算每個鏡頭模型的對數概率(log概率)的部件；4)選取對數概率之和最大的模型序列的部件，其中，該序列中的各個模型的狀態序列與相應的SSU序列對應。

本發明的優點在于：

1、將每類鏡頭分成連續的SSU序列，更好的反映了鏡頭的邊界和時序特征；

2、采用隱馬爾可夫模型為每類鏡頭建模，能夠更好的模擬鏡頭中的SSU序列的變化；

3、采用顏色和運動相關的信息，易于特征計算和提??；

4、建立鏡頭網絡來識別體育視頻流實現了鏡頭的自動分割和分類。

附圖說明

圖1示意三類鏡頭模型，(a)為遠景鏡頭，(b)為中景鏡頭，(c)為特寫鏡頭；

圖2表示鏡頭采樣單元(SSU)序列；

圖3表示從左向右無跳轉的5狀態隱馬爾可夫模型；

圖4示意一個鏡頭網絡。

具體實施方式

體育視頻都可以分為以下三類鏡頭，即遠景鏡頭，中景鏡頭和特寫鏡頭，如圖1所示。本發明的目的就是自動分割和分類體育視頻中的這三類鏡頭。下面結合附圖對本發明作進一步的描述。