[發明專利]一種面向移動設備的足球視頻智能播放方法

無效

• 申請號: 200810040640.X
• 申請日: 2008-07-16
• 公開（公告）號: CN101324957A
• 公開（公告）日: 2008-12-17
• 發明（設計）人: 顏紅波;劉志;李偉偉;顧建棟;韓忠民
• 申請（專利權）人: 上海大學
• 主分類號: G06T7/20
• 分類號: G06T7/20;G06K9/00
• 代理公司: 上海上大專利事務所（普通合伙）
• 代理人: 何文欣

1.一種面向移動設備的足球視頻智能播放方法，其特征在于將鏡頭分為三種典型的類型：長景，中景和特寫；針對長景通過動態定位和提取其感興趣區域然后放大來解決分辨率降低的問題；實現步驟是：

a.場地建模和球場檢測：首先通過在HSV空間對視頻進行直方圖分析得到反映場地本身情況的一些參數，從而實現場地基本特征的提取；然后通過所提取的場地特征參數和一些先驗知識來對場地建模；在所構建模型的基礎上，對場地顏色進行閾值判斷，最終實現對足球場和其它對象的準確分離；

b.鏡頭分類：在場地分割的基礎上，利用場地像素在長景、中景和特寫三種鏡頭內所占比例的不同這一顯著特性來對鏡頭進行準確的分類；

c.感興趣區域的提取：在鏡頭分類的基礎上，對于長景，根據比賽的進行動態地定位和提取其最精彩的部分，然后放大顯示這個最精彩的部分；

所述步驟a中的場地建模和球場檢測的步驟是：

A.場地建模：利用視頻的前若干幀，設定為前30幀，即1秒的視頻長度，分別計算出每一幀的Hue，Saturation和Value通道的直方圖，計算公式如下：

Hhuei[k]=Huei,0≤k≤NHHsaturationi[k]=Saturationi,0≤k≤NSHvaluei[k]=Valuei,0≤k≤NV---(1)]]>

其中，分別為第i幀對應的三個通道Hue、Saturarion和Value的直方圖，N_H，N_S，N_V分別對應其像素級，其中Hue為色調，Saturaion為飽和度，Value為像素值；

正常條件下足球場地的顏色總是綠色的，所以在大部分鏡頭中綠色區域總會占據很大的面積；在直方圖上這一點表現為集中在某個像素區間上出現較大值，通過計算累積直方圖來獲取場地的統計信息，計算累積直方圖的公式如下：

hue[k]=Σi=029Hhuei[k],0≤k≤NHsaturation[k]=Σi=029Hsaturationi[k],0≤k≤NSvalue[k]=Σi=029Hvaluei[k],0≤k≤NV---(2)]]>

hue，saturation和value表示前30幀的累積直方圖，它們包含了前三十幀場地的累積統計信息，橫坐標同樣定義為N_H，N_S，N_V；前30幀的累積直方圖并不一定能夠反映出場地的真實情況，我們規定只有滿足下式才算對場地的累積統計信息收集成功，即：

GndAlys=1if0.7×frame.width×30frame.height≤Σk=921hue[k]0others---(3)]]>

其中，GndAlys表示場地分析標志，frame.width和frame.height分別表示視頻幀的寬和高，if為若，others為其它；GndAlys為0，表示信息收集不成功，舍棄當前30幀，繼續分析接下來30幀，直到GndAlys為1止；若滿足(3)式，表示通過計算累積直方圖我們已經獲得了場地的基本累積信息，下面我們就可以對場地進行建模了；通過累積直方圖我們得到如下兩個統計量，它們足夠反映場地的基本情況和條件：

ValuePeelIndex=k0,ifvalue[k0]≥value[i]andi,k0∈[0,NH-1]SatueationMean=Σi=0NS-1i·saturation[i]Σi=0NSsaturation[i]---(4)]]>

其中ValuePeakIndex表示Value通道累積直方圖中最大值所對應的像素，它直接與足球場地中綠色像素的多少的相對應；SaturationMean表示Saturation通道的加權平均，它對應場地綠的程度；

B.球場檢測：在上一步建模的基礎上，可以對場地進行檢測，通過如下兩式來判斷出某個像素是屬于足球場地還是其它對象：

S=Max(r,g,b)-Min(r,g,b)Max(r,g,b)V=Max(r,g,b)---(5)]]>

其中，S代表HSV色彩空間的飽和度分量，V代表HSV色彩空間的像素值分量，r，g，b代表RGB色彩空間的紅，綠，藍分量；Max(r，g，h)代表r，g，b的最大值，Min(r，g，b)代表r，g，b的最小值，Ground(x，y)代表當前像素是否為場地像素；(5)式為某一像素從RGB色彩空間到HSV空間的轉換，通過(6)式就可以將球場和其它對象分離出來，從而實現對場地的檢測；

所述步驟c中的感興趣區域的提取步驟是：首先找出球，然后確定以球為中心的矩形區域為感興趣區域；具體步驟如下：

A.球的檢測

(1).檢測出可能是球的區域：定義potential_ball為當前幀內任意一可能是球的區域，利用顏色、面積和形狀特征來檢測，按下式所示

object=potential_ballif3<M<20AND1.5<width×heightMAND0.6≤aspect_ratio≤1.7ANDIntestiy>ValuePeakIndexobject=OTHERS---(9)]]>

其中，object表示當前檢測出的對象的標志，M表示該連通區域內所含像素的個數，width，height表示該連通區域外接矩形的寬和高，aspect_ratio為球場中連同區域的寬和高的比率，即aspect_ratio＝width/height，Intensity為該連通區域中某像素點的亮度值，即Intensity＝(r+g+b)/3，AND代表條件與運算，ValuePeakIndex為(4)中得到的最大值對應的橫坐標；將當前幀內所有可能是球的區域的中心位置坐標依次保存到隊列L1中，同樣將下一幀中所有可能是球的區域的中心位置坐標保存到另一隊列L₂中，然后利用兩幀之間球的相對位移來最終確定球的位置；

(2).球的檢測：在上一步檢測出的所有可能是球的區域基礎上，按如下機制來檢測出球，隊列L₁和L₂分別保存了相鄰兩幀中所有可能是球區域的中心位置坐標，我們通過比較這兩個隊列來檢測出球；比較的標準為相鄰兩幀間potential_ball的相對偏移；設(x₁，y₁)為L1中第i個potential_ball的中心位置坐標，(x₂，y₂)為L₂中第j個potential_ball的中心位置坐標，設Shift為相對偏移量：

Shfit=(x1-x2)2+(y1-y2)2---(10)]]>

球的判別式：

ball=L1[i]ifShift≥βdisi=i+1,j=j+1otherwise---(11)]]>

其中ball表示檢測出球的實際位置；上式表明當Shift大小滿足某一特定值時就表示得出的potential_ball的位置是真實的球位置，如不滿足，就繼續比較直到找到為止；

B.感興趣區域的提取步驟如下：

1).初始化

windowi=lobidispi=0diffi=lobi-windowi-1---(12)]]>

Smin=frame.width·0.5·frame.height·0.5Smax=frame.width·0.7·frame.height·0.7Scurrent=Smin---(13)]]>

window_i為矩形窗的中心位置，lob_i為球的中心位置，disp_i為偏移量，diff_i為參考偏移量；S_min，S_max，S_current分別為窗口大小的最小值、最大值和當前大小，frame.width，frame.height分別代表當前幀的寬和高；設窗口的初始大小為最小值；它們的初始值如(12)和(13)式所示；

2)動態更新：感興趣區域窗口的動態更新包括兩部分：窗口的位置移動和尺寸的自適應調整，窗口更新的過程：

(a)窗口位置的移動：為了便于分析，我們規定diff_i≥0，分析這種情況不會丟失一般性，與之相對應有以下三種情況：

i.球的偏移量不是很大

if0≤diffi≤dispithenwindowi=windowi-1dispi+1=a·dispi---(14)]]>

ii.球的偏移增大到某一程度

ifdispi≤diffi≤frame.widht/2thenwindowi=windowi-1+dispidispi+1=dispi+a1·sign(diffi)---(15)]]>

iii.球的偏移增大到更大范圍

ifframe.widht/2≤diffi≤frame.widththenwindowi=windowi-1+dispidispi+1=dispi+a2·sign(diffi)---(16)]]>

其中sign(t)為符號函數，當t＞時sign(t)為1，t＜0時sign(t)為0；本方法中用來控制感興趣區域窗口的移動方向，α，α₁，α₂分別為三個加速因子，用它來控制窗口移動的快慢；

(b)尺寸自適應調整：動態更新中，步驟(a)只實現了窗口位置的改變，感興趣的區域根據當前窗口中球員的個數來自適應調整當前窗口的大小；若球員個數增多，則需要擴大窗口的大小；若減少，則需要縮小窗口；否則保持大小不變；

當前窗口大小S_current可以用下式來計算：

S_current＝abs(P_x1-P_x2)·abs(P_y1-P_y2)????????????????????????(17)

其中abs表示求絕對值，(P_x1，P_y1)和(P_x2，P_y2)分別為矩形的左上角和右下角坐標，可以通過改變(P_x1，P_y1)和(P_x2，P_y2)來調整其大小；當(P_x1，P_y1)增大，(P_x2，P_y2)減小時，窗口就變小；當(P_x1，P_y1)減小，(P_x2，P_y2)增大時，窗口就變大；

定義{N(t)，0≤t＜T_LongShot}，T_LongShot表示當前長景鏡頭的總長度，N(t)為當前幀感興趣區域窗口內球員的個數，根據下式來判別是否應調整窗口大小：

l=N(t)/N(t-1)SizeAdaptation=Shrinkage,l<l1;Expansion,l>l2Stay,others---(18)]]>

其中SizeAdaptation感興趣區域窗口的狀態類型；N(t)和N(t-1)表示相鄰兩幀內感興趣區域窗口內球員的個數，Shrinkage，Expansion和Stay分別表示窗口縮小，擴大和不變；上式表明根據相鄰兩幀內感興趣區域相對變化率來實時調整大小；為了使播放更加穩定和流暢，并不是對每相鄰的兩幀都進行統計窗口內球員的個數，而是每隔8幀進行窗口大小的調整。

2.根據權利要求1所述的面向移動設備的足球視頻智能播放方法，其特征在于所述步驟b中的鏡頭分類實現步驟是：構造場地方塊；鏡頭切換檢測；確定黃金地帶；鏡頭分類；其中最后的鏡頭分類如下：

定義S_ground為場地像素的面積，通過下列判別式來確定當前鏡頭到底屬于哪一類：

Ratio=SgroundSize---(7)]]>

ShotType=longshot,Ratio>βlongshotmediumshot,βcloseup<Ratio<βlongshotcloseup,Ratio<βcloseup---(8)]]>

其中，Ratio為當前幀黃金地帶中場地像素所占的比例，ShotType表示當前幀的鏡頭類型，longshot，mediumshot，closeup分別對應長景，中景和特寫，β_longshot，β_closeup分別為長景和特寫的固定閾值；Size代表整個核心區域的大小。