[發明專利]概括視頻內容

有效

• 申請號: 201780064898.0
• 申請日: 2017-08-03
• 公開（公告）號: CN109844736B
• 公開（公告）日: 2023-08-22
• 發明（設計）人: Y.沈;T.金;C.歐;X.陳;Y.石;M-H.蔡;W.楊;Z.孫;J.王;J.富特雷爾
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06F16/783
• 分類號: G06F16/783;G06V20/40
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 金玉潔

本文描述了自動提取視頻內容概要的系統和方法。數據處理系統可以從視頻數據庫訪問包括第一多個幀的第一視頻內容元素。數據處理系統可以選擇第一視頻內容元素的第一多個幀的區間子集。數據處理系統可以為包括來自區間子集的預定數量的幀的多個進一步子集中的每一個進一步子集計算該進一步子集的分數。數據處理系統可以從多個進一步子集中識別具有最高分數的進一步子集。數據處理系統可以選擇包括具有最高分數的進一步子集的幀的第一視頻內容元素的一部分。數據處理系統可以生成包括第一視頻內容元素的所選擇的部分的第二視頻內容元素。

相關專利申請的交叉引用

本申請要求2017年5月5日提交的國際申請號為PCT/CN2017/083223的所有權益，在其中的整體內容通過參考并入本文。

技術領域

本公開涉及一種用于自動提取視頻內容概要的方法、系統以及非暫時性計算機可讀介質。

背景技術

視頻內容元素可以通過計算機聯網環境提供以在客戶端設備上渲染和播放。這種視頻內容元素可能具有一定的持續時間，并且可以消耗對應量的計算機處理功率和網絡帶寬。在對內容(例如，作為“推送”內容、嵌入或作為另一內容的一部分提供的內容、所請求的內容項、或其他這樣的傳送機制)的請求之前傳送這樣的內容可能導致帶寬、處理功率以及移動設備上的電池功率的顯著消耗。

發明內容

帶寬、處理功率和電池功率可以通過傳遞內容的縮短形式(被稱為內容的縮短或概括的版本)來降低。縮短或概括的版本可以自動生成，而不需要用戶干預、組件選擇或片段值的主觀確定。在內容提供商請求或向處理設備傳送內容時，處理設備可以自動生成視頻內容元素的縮短或概括的版本。在一些實施方式中，服務器可以對視頻內容元素進行降采樣(down-sample)(例如，降采樣到每秒一幀、每秒兩幀、每兩秒一幀或任何其他這樣的速率)，這可以被稱為選擇視頻內容元素的幀的區間(intervallic)子集。然后，服務器系統可以經由多個評估器通過應用多個處理規則和值計算來評估或分析降采樣的視頻內容元素的每個幀。這些評估器可以包括圖像質量比較器、對象檢測器、運動檢測器和顏色分布測量器等等。通過在分析每個幀之前對視頻內容元素進行降采樣，服務器系統可以減少用于執行每個評估器的另外的(otherwise)資源密集型(resource-heavy)圖像分析算法的計算資源。

使用訓練的模型，圖像質量比較器可以評估降采樣的視頻內容元素的每個幀的質量。可能已經用從標記為負的其他視頻中隨機選擇的一個幀集和從標記為正的其他視頻中選擇的另一幀集訓練了模型。通過應用該模型，圖像質量比較器可以將幀與正樣本和負樣本進行比較。圖像比較器可以確定來自降采樣的視頻內容元素的幀與正樣本和負樣本的相似程度，并且可以根據所確定的相似度計算分數。

為了檢測降采樣的視頻內容元素的每個幀內的對象，對象檢測器可以將圖像識別算法應用于每個幀。圖像識別算法可以包括面部檢測和光學字符識別以及其他模式識別技術。在檢測到幀內的對象時，對象檢測器可以識別對象的各種特征(例如，大小、顏色、字體等)。然后，對象檢測器可以根據檢測對象的數量和為每個對象識別的各種特征來計算分數。

在降采樣的視頻內容元素的相鄰幀之間，運動檢測器可以確定逐幀的每一像素運動的測量值。運動檢測器可以將運動測量值與上限閾值和下限閾值進行比較。如果運動測量值在上限閾值和下限閾值內，則運動檢測器可以基于測量值和上限閾值之間的差值或距離、以及測量值和下限閾值之間的差值或距離來計算和調整分數。因此，運動檢測器可以為具有中等運動量的連續幀分配更高的分數。

對于每個幀，顏色分布測量器可以計算幀像素之間的顏色分布。顏色分布可以指示單個幀內顏色的方差或標準偏差。基于計算出的幀像素之間的顏色分布，顏色分布測量器可以確定降采樣的視頻內容的幀的分數。分數的確定可以考慮分數映射的分布。