[發明專利]一種電視節目內部自動生成主要人物摘要的方法

在審

• 申請號: 201210215951.1
• 申請日: 2012-06-27
• 公開（公告）號: CN102799637A
• 公開（公告）日: 2012-11-28
• 發明（設計）人: 董遠;秦鋼
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種電視節目內部自動生成主要人物摘要的方法，包括對電視節目視頻進行鏡頭切割、關鍵幀提取、判別有標志的鏡頭段落和無標志的鏡頭段落，其特征在于，該方法還包括以下步驟：

步驟一，對每個單獨的有標志的鏡頭段落按時間均勻間隔地提取關鍵幀，對關鍵幀圖像進行人臉檢測得到人物人臉圖像；

步驟二，對人臉圖像進行特征提取，再通過基于線性聚類的算法以及基于圖論的聚類算法進行人物聚類；

步驟三，基于聚類的結果自適應地進行主要人物選??；

步驟四，融合上述所有各個單獨的有標志鏡頭段落的主要人物類別，再進行一次基于圖論的聚類算法進行人物再聚類；

步驟五，對聚類結果中人物類別進行評分，選取出采訪者，對采訪者和受訪者作標記并生成主要人物摘要。

2.根據權利要求1所述的方法，其特征在于對人臉圖像進行特征提取，再通過基于線性聚類的算法以及基于圖論的聚類算法進行人物聚類包括：

步驟一，對提取出來的時間連續的人臉計算空間位置區域重疊度，并提取Gabor特征后計算人臉間的Gabor距離，綜合重疊度和Gabor距離將時間連續的相似人臉聚類；

步驟二，基于線性聚類的結果，再進行一次基于圖論的聚類，把所有線性聚類得到的每個人物類別作為圖的結點，構建一個無向圖，根據閾值對圖的最小生成樹進行剪枝，結果為多棵子樹，即為多個人物類別。

3.根據權利要求1所述的方法，其特征在于基于聚類結果自適應地進行主要人物選取包括：計算每一類人物的持續時間，對這些時間值進行模糊二均值聚類，比較小的類別中心作為選取的閾值，大于閾值的類別被選取為主要人物。

4.根據權利要求1所述的方法，其特征在于對聚類結果中人物類別進行評分，選取出采訪者，對采訪者和受訪者作標記并生成主要人物摘要包括：

步驟一，計算每個類別的持續時間；

步驟二，計算每個類別的時間方差；

步驟三，融合持續時間和時間方差信息，計算每個類別的得分；

步驟四，選出得分最高的作為采訪者類別，標記采訪者和受訪者。

5.根據權利要求4所述的方法，其特征在于，融合持續時間和時間方差信息并計算每個類別的得分為：

第k類別得分的算法為：得分向量S_k＝(S_k，1，S_k，2)，式子中持續時間T_k，時間方差

6.根據權利要求4所述的方法，其特征在于，選出得分最高的作為采訪者類別，并標記采訪者和受訪者包括：

步驟一，最高得分的算法為：l＝argmax(||S_k||₂)，l類別標記為采訪者，其余類別都標記為受訪者，其中||·||₂代表2-范數，argmax(·)代表使范數滿足最大值時參數k的值；

步驟二，無論是采訪者還是受訪者，都選取出每個有標志鏡頭段落中尺寸最大的人臉圖像作為此段落摘要圖像。