[發明專利]一種電視節目內部自動生成主要人物摘要的方法

在審

• 申請號: 201210215951.1
• 申請日: 2012-06-27
• 公開（公告）號: CN102799637A
• 公開（公告）日: 2012-11-28
• 發明（設計）人: 董遠;秦鋼
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明屬于多媒體信息處理與檢索領域，利用對視頻中圖像的人物人臉特征的提取和分析，關于電視內容主要人物摘要的一種方法。應用此發明方法可以自動生成人物的摘要，并能標記出采訪者和受訪者，是一種計算自動的、魯棒性強的以及算法復雜度低的電視節目視頻內容處理方法。

背景技術

現如今，隨著廣播電視以及互聯網的迅速傳播和蓬勃發展，多媒體信息作為其中數據的一面也得到了長足的增長，這些海量的數據催生出許多新興的應用：數字電視、網絡電視、視頻網站等，用戶瀏覽體驗和觀賞感受等需求也相應的提高，能夠在網絡端和移動設備端上提供更好的服務成為迫切的要求。

對電視節目內容進行分析，一般預處理的方法是先進行宏分割，切分為多個內部段落。相應的處理方法分為：人工標注分割和機器自動分割。人工標注分割耗時耗力，面對海量的視頻數據，人工的方法將會變得棘手，而機器自動分割正是適應了這樣的條件。機器自動分割的方法有很多種，例如基于主持人場景的自動分割、基于重復片段的自動分割等，而越來越多的電視節目在播放過程中會使用電臺標志或者節目特有標志(統稱為標志)，這一舉措主要注重知識產權的保護，其實對于結構化的宏分割來說，提供了更充足的分割依據：在電視節目內部非獨有產權的段落(如電影簡介集錦、商業廣告等)，將不會加載標志；而播報和采訪等享有知識產權的部分，將加載標志，這些標志在時間上不連續，為結構性的分割提供依據。

在分割內容后，基于分割為了提供更加具有觀賞體驗的服務，在每個段落上需進行分析。以往，我們在一些網絡或者移動端所能看到的電視節目視頻能夠提供關鍵幀的預覽(例如視頻網站優酷、土豆等)，而能提供主要人物摘要的預覽的電視節目少之甚少，人物摘要預覽比關鍵幀預覽帶來的有用信息更多，能夠去除很多的冗余(例如冗雜的背景)，并且服務體驗感更強，能夠預覽某段落節目內容主要的人物對于用戶來說更加實用且更加具有吸引力。同樣，面對海量的視頻數據，人工標注的方法將不再適用，所以需要提出自動(無人工標注)處理且快速(算法復雜度低)的方法。本方法正是適應了這樣的條件要求。另外，對于一段節目視頻，無法得知一些先驗知識，例如訪談出現的人物信息，所以只能運用無監督學習的方法來提取出人物信息，并且無先驗知識得知提取出多少人物，而是自適應提取出主要人物，這樣的算法具有普適性、魯棒性，能夠很方便的應用到更多的電視節目中。

發明內容

為設計一個電視節目視頻主要人物自動摘要系統，有效且快速的實現主要人物提取，并準確的標記采訪者已經受訪者，本發明提出了一個基于有標志鏡頭段落的節目視頻主要人物摘要生成的方法。該方法首先對每個單獨的有標志的鏡頭段落按時間均勻間隔地提取關鍵幀，并做人臉提取、特征提取，基于特征做線性聚類，然后再通過基于圖論的聚類方法將人臉圖像聚類，再通過自適應的方法對聚類結果處理，過濾出每個段落的主要人物類別。在此基礎上，將每個段落的主要人物類別聚集起來，再次進行基于圖論的聚類算法，進行一次全部標志段落的人臉圖像聚類，通過判斷準則得分，選出采訪者和受訪者，并分別標記，然后返回至各個段落并生成主要人物摘要。

本發明提出的方法可以通過文本或者圖片形式表示出每個有標志段落主要人物摘要的結果。能夠自適應的選取出每個標志段落的主要人物，而不是依據先驗信息，并且在此后對于第二次應用基于圖論聚類算法來說，濾除(減少)了一些初始類別，也等效于降低了聚類時間，提高了效率。

附圖說明

圖1為本發明的系統總框圖

圖2為區域重疊度計算框圖

圖3為電視節目結構示例圖

圖4為電視節目展現以及人物摘要預覽例圖

具體實施方式

下面結合附圖具體來對本發明做進一步詳細的描述。如圖3所示，視頻節目內容分為有標志的鏡頭段落和無標志的鏡頭段落，并且分布在整個視頻的各個時間段落里，本發明通過對有標志鏡頭段落的分析，對每個有標志鏡頭段落進行主要人物摘要。對于如何得到有標志鏡頭段落的時間位置信息，已經有很多方法和發明已經描述過，例如，將固定位置的特有的標志從關鍵幀中提取出來，得到正負樣本，使用支持向量機(SVM)訓練出判別是否為標志的模板，對待處理的節目視頻提取出的關鍵幀使用模板，決策是否為有標志鏡頭段落的關鍵幀，從而整合這些關鍵幀的時間信息，得到有標志的鏡頭段落。

如圖1所示，基于有標志鏡頭段落，本發明方案分為以下幾個步驟：

(1).關鍵幀提取以及人臉檢測；

(2).人臉圖像特征提取、線性聚類以及基于圖論的聚類；

(3).自適應主要人物選取；