[發明專利]一種主持人鏡頭檢測方法及裝置

有效

• 申請號: 201710202164.6
• 申請日: 2017-03-30
• 公開（公告）號: CN107087211B
• 公開（公告）日: 2020-12-11
• 發明（設計）人: 劉楠
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: H04N21/234
• 分類號: H04N21/234;H04N21/44;G06K9/62
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 馬敬;項京

本發明實施例提供了一種主持人鏡頭檢測方法及裝置，其中，所述主持人鏡頭檢測方法包括：獲取包括多個視頻幀的視頻；按照視頻幀之間的相似度，將所有視頻幀劃分為多個鏡頭，并分別抽取所有鏡頭的關鍵幀；分別將每一個鏡頭的關鍵幀，作為主持人分類器的輸入，得到每一個關鍵幀的圖像人物姿態類別，以確定主持人鏡頭；其中，主持人分類器包括根據多個訓練樣本，通過深度學習和神經網絡模型得到的分類器，圖像人物姿態類別表示主持人是否在關鍵幀中出現、以及主持人在關鍵幀中出現的姿態。相比較于現有的主持人鏡頭檢測方法，通過本發明實施例主持人鏡頭檢測方法及裝置，可以實現簡化主持人鏡頭檢測過程、提高主持人鏡頭檢測性能的目的。

技術領域

本發明涉及視頻處理技術領域，特別是涉及一種主持人鏡頭檢測方法及裝置。

背景技術

新聞視頻中蘊含著大量的最新資訊信息，對于視頻網站和新聞類的應用來說有著重要的價值。視頻網站或者新聞類的應用需要對每日播出的整條新聞進行拆分、上線，供用戶對于其中感興趣的每條新聞進行點擊觀看。由于全國的電視臺數量眾多，除衛視臺外還存在各類地方臺，如果需要對所有的新聞進行分割的話，需要耗費大量的人力進行切分。同時由于新聞的時效性，對于新聞視頻的分割的速度要求也是十分嚴格的，所以給人工分割帶來的更大的壓力，新聞都是在某個時間(如中午12點)大量播出，為了保證時效性，需要在規定的時間內盡快將整個的新聞節目切割成獨立新聞條目，而不能采用積壓任務后期處理的方式進行生產。所以自動的新聞視頻拆分就顯得尤為重要。

通過對大量新聞節目的觀察發現，新聞主持人在新聞開始和結束的位置總是以特定的方式出現，如雙人同時出現；在播報每條新聞之前或者之后都會出現單個主持人的特寫鏡頭，總結每條新聞或者鋪墊新聞的內容。因此可以利用主持人在視頻中出現的信息對視頻進行拆分，主持人在視頻中出現的信息為自動的新聞拆分算法提供了重要的線索。

現有的主持人鏡頭檢測方法，是通過人為設計主持人特征(例如人臉檢測和背景描述)，提取這些特征、并根據這些特征檢測主持人在視頻中出現的信息。可以看出，現有的這種方法需要人為設計主持人特征，如此使得主持人檢測過程復雜。

發明內容

本發明實施例的目的在于提供一種主持人鏡頭檢測方法及裝置，以簡化檢測過程。具體技術方案如下：

一方面，本發明實施例提供了一種主持人鏡頭檢測方法，包括：

獲取包括多個視頻幀的視頻；

按照所述視頻幀之間的相似度，將所有視頻幀劃分為多個鏡頭，并分別抽取所有鏡頭的關鍵幀；

分別將每一個鏡頭的所述關鍵幀，作為主持人分類器的輸入，得到每一個關鍵幀的圖像人物姿態類別，以確定主持人鏡頭；其中，所述主持人分類器包括根據多個訓練樣本，通過深度學習和神經網絡模型得到的分類器，所述圖像人物姿態類別表示主持人是否在關鍵幀中出現、以及主持人在關鍵幀中出現的姿態。

可選的，所述根據多個訓練樣本，通過深度學習和神經網絡模型得到的分類器，包括：

收集人工標記完成的多個訓練樣本，其中，所述訓練樣本包括已標記圖像人物姿態類別的視頻幀；

將多個訓練樣本，作為所述神經網絡模型的輸入，通過深度學習方法，訓練得到所述主持人分類器。

可選的，所述分別將每一個鏡頭的所述關鍵幀，作為主持人分類器的輸入，得到每一個關鍵幀的圖像人物姿態類別，以確定主持人鏡頭，包括：

統計每一個鏡頭的所有關鍵幀的圖像人物姿態類別，確定每一個鏡頭的所有關鍵幀的圖像人物姿態類別中、出現次數最多的圖像人物姿態類別為所述鏡頭的圖像人物姿態類別；

在所述鏡頭的圖像人物姿態類別為主持人姿態類時，確定所述鏡頭為主持人鏡頭，其中，所述主持人姿態類包括:雙人主持人坐姿類、單人主持人坐姿類、單人主持人站姿類。