[發(fā)明專利]一種基于事件模型的足球視頻集錦自動(dòng)合成方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201110294384.9
• 申請(qǐng)日: 2011-09-30
• 公開(kāi)（公告）號(hào): CN102427507A
• 公開(kāi)（公告）日: 2012-04-25
• 發(fā)明（設(shè)計(jì)）人: 趙沁平;陳小武;蔣愷
• 申請(qǐng)（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號(hào): H04N5/222
• 分類號(hào): H04N5/222
• 代理公司: 北京科迪生專利代理有限責(zé)任公司 11251
• 代理人: 許玉明;顧煒

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺(jué)、視頻處理和增強(qiáng)現(xiàn)實(shí)領(lǐng)域，具體地說(shuō)是一種基于事件模型的足球視頻集錦自動(dòng)合成方法。

背景技術(shù)

體育視頻集錦作為體育影視節(jié)目的一種，由于能夠在較短時(shí)間獲取充分的信息，其短小精悍的特點(diǎn)深受觀眾喜愛(ài)。尤其在足球賽事方面，僅僅為了看到喜愛(ài)的球員或精彩的射門(mén)鏡頭而觀看長(zhǎng)達(dá)90分鐘的比賽視頻非常耗時(shí)，因此經(jīng)常采用足球比賽集錦的方式記錄精彩鏡頭回放、賽事總結(jié)、球員個(gè)人經(jīng)歷等賽事相關(guān)話題。傳統(tǒng)視頻集錦由人工剪輯比賽視頻，雖然剪輯精準(zhǔn)度較高且富有感情色彩，但是需要耗費(fèi)大量人力逐幀檢查視頻以尋找所需的精彩鏡頭，且對(duì)剪輯師賽事經(jīng)驗(yàn)知識(shí)要求較高。隨著視頻理解、計(jì)算機(jī)視覺(jué)領(lǐng)域的研究不斷進(jìn)步，為體育賽事視頻自動(dòng)生成集錦視頻逐漸成為一個(gè)技術(shù)和研究熱點(diǎn)。

目前，根據(jù)視頻片源不同，為體育賽事視頻自動(dòng)生成集錦視頻可以分為兩大類。一類是針對(duì)電視轉(zhuǎn)播視頻的自動(dòng)集錦。由于電視轉(zhuǎn)播視頻加入了轉(zhuǎn)播師對(duì)賽事的理解，在處理時(shí)能夠?qū)⑥D(zhuǎn)播技巧作為視頻集錦的隱含線索。例如，足球比賽轉(zhuǎn)播時(shí)，特寫(xiě)鏡頭或慢放鏡頭通常會(huì)出現(xiàn)在進(jìn)球之后；兩次鏡頭切換之間通常發(fā)生著同一個(gè)事件；遠(yuǎn)景鏡頭通常意味著開(kāi)場(chǎng)或球的大范圍運(yùn)動(dòng)軌跡等等。這類方法通過(guò)在足球視頻中檢測(cè)上述線索，完成足球集錦片段檢測(cè)并最終生成集錦視頻，或者直接在視頻中檢測(cè)屏顯文字(例如比分牌)來(lái)確定足球集錦片段發(fā)生時(shí)間。這類方法雖然在一定程度上能夠獲得較好的集錦結(jié)果，但是其過(guò)分依賴于電視轉(zhuǎn)播視頻，在適用范圍上有很大局限。

另一類是針對(duì)非電視轉(zhuǎn)播視頻的自動(dòng)集錦。其中，對(duì)視頻主題有較強(qiáng)針對(duì)性的方法，通常利用該視頻主題的特殊先驗(yàn)知識(shí)(例如足球視頻中的網(wǎng)狀球門(mén)、大片綠色草坪、觀眾歡呼聲等先驗(yàn)知識(shí))，獲得關(guān)于該視頻主題的精彩鏡頭檢測(cè)線索。其較強(qiáng)的針對(duì)性決定了該類方法模型固定，可重用性差。而較有研究?jī)r(jià)值的是在一定范圍內(nèi)具有普遍適用性的集錦方法。目前該方面的研究主要集中在兩個(gè)方向：(1)視頻事件分析；(2)視頻內(nèi)容摘要。

在視頻事件分析方面，2010年的ECCV會(huì)議上，斯坦福大學(xué)的Li?Fei-Fei等人提出了一種基于人類動(dòng)作時(shí)序關(guān)系的行為模型。該模型將動(dòng)作表示為不同時(shí)間點(diǎn)的行為分割。該方法訓(xùn)練出兩種模型，分別為判別式模型與外觀模型：判定模型用來(lái)編碼基于時(shí)間分解的視頻序列，外觀模型用于每個(gè)行為分割。在識(shí)別過(guò)程中，通過(guò)學(xué)習(xí)特征與行為分割分解來(lái)進(jìn)行視頻與模型的匹配。該方法通過(guò)引入時(shí)間結(jié)構(gòu)，可以較好的識(shí)別簡(jiǎn)單與復(fù)雜人類動(dòng)作，但由于其時(shí)間結(jié)構(gòu)模式固定，無(wú)法勝任由動(dòng)作組成的復(fù)雜事件。在2009年的CVPR會(huì)議上，馬里蘭大學(xué)的Larry?S.Davis等人提出一種從帶有弱標(biāo)記數(shù)據(jù)的視頻中學(xué)習(xí)出完整的可視化故事情節(jié)模型的方法。其中故事情節(jié)模型以與或圖的形式來(lái)表達(dá)，可以將視頻中的故事情節(jié)變化進(jìn)行簡(jiǎn)單編碼。與或圖中的邊相當(dāng)于基于時(shí)空約束的因果關(guān)系。用這個(gè)模型和學(xué)習(xí)得到的訓(xùn)練數(shù)據(jù)，可以進(jìn)行行為識(shí)別與故事情節(jié)提取。考慮到視頻幀中人體姿態(tài)與周?chē)矬w的關(guān)聯(lián)關(guān)系，2010年美國(guó)加州大學(xué)的Fowlkes等人提出一種基于人體姿態(tài)與周?chē)矬w關(guān)聯(lián)關(guān)系建模，來(lái)識(shí)別動(dòng)作的方法。該方法主要解決靜態(tài)圖像的動(dòng)作識(shí)別問(wèn)題并將其轉(zhuǎn)化為潛在結(jié)構(gòu)標(biāo)記問(wèn)題。

在視頻內(nèi)容摘要方面，Pritch等人在2008年的PAMI期刊上提出的方法通過(guò)分析視頻能夠?qū)⒁欢伍L(zhǎng)視頻濃縮為一小段摘要，并在每幀上面同時(shí)顯示多幀的運(yùn)動(dòng)信息，但該方法的局限性在于無(wú)法處理視頻中整個(gè)場(chǎng)景都在運(yùn)動(dòng)的情況與經(jīng)過(guò)編輯的視頻。華盛頓大學(xué)的Hwang等人提出一種基于視頻物體分割的關(guān)鍵幀提取方法并設(shè)計(jì)實(shí)現(xiàn)了相應(yīng)系統(tǒng)，能快速、有效的進(jìn)行在線處理。2005年的CVPR會(huì)議上，微軟研究院的Jojic等人針對(duì)監(jiān)控視頻提出一種新的交互模型來(lái)索引和分析視頻。另外，佛蒙特州大學(xué)的Wu等人提出了一種分層視頻摘要策略，通過(guò)分析視頻內(nèi)容結(jié)構(gòu)給用戶提供多尺度、多級(jí)別的視頻總結(jié)。

綜上所述，目前在視頻集錦技術(shù)上，主要存在以下兩個(gè)方面的問(wèn)題：(1)嚴(yán)重依賴于輸入視頻質(zhì)量，適用范圍較窄。使用鏡頭切換、哨聲、轉(zhuǎn)場(chǎng)等富有語(yǔ)義暗示信息的線索進(jìn)行視頻集錦雖然能夠較快探測(cè)出足球集錦片段，但是無(wú)法了解足球事件進(jìn)行過(guò)程，因此很難提取出事件發(fā)生的時(shí)間區(qū)間。(2)較少以事件為單元進(jìn)行視頻集錦。由于視頻事件豐富多樣，直接采用特征統(tǒng)計(jì)方法的模型難以完全涵蓋事件的變化，如何合理利用領(lǐng)域知識(shí)，結(jié)合事件的視覺(jué)特征對(duì)事件建模是一個(gè)難點(diǎn)和研究熱點(diǎn)。

發(fā)明內(nèi)容