[發明專利]概括視頻內容

有效

• 申請號: 201780064898.0
• 申請日: 2017-08-03
• 公開（公告）號: CN109844736B
• 公開（公告）日: 2023-08-22
• 發明（設計）人: Y.沈;T.金;C.歐;X.陳;Y.石;M-H.蔡;W.楊;Z.孫;J.王;J.富特雷爾
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06F16/783
• 分類號: G06F16/783;G06V20/40
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 金玉潔

1.一種用于自動提取視頻內容概要的方法，包括：

由數據處理系統從視頻數據庫訪問包括第一多個幀的第一視頻內容元素；

由所述數據處理系統通過對第一視頻內容元素進行時間上降采樣選擇第一視頻內容元素的第一多個幀的區間子集；

由所述數據處理系統為包括來自所述區間子集的預定數量的幀的多個進一步子集中的每一個計算所述進一步子集的分數；

由所述數據處理系統從所述多個進一步子集中識別具有最高分數的進一步子集；

由所述數據處理系統選擇包括具有最高分數的進一步子集的幀的第一視頻內容元素的一部分；以及

由所述數據處理系統生成包括第一視頻內容元素的所選擇的部分的第二視頻內容元素，通過：

基于幀之間的第一顏色變化來檢測與第一視頻內容元素的所選擇的部分相對應的幀當中的初始鏡頭邊界幀；

基于幀之間的第二顏色變化來檢測與第一視頻內容元素的所選擇的部分相對應的幀當中的結束鏡頭邊界幀，第二顏色變化在第一顏色變化之后；

截斷第一視頻內容元素的所選擇的部分的初始幀和初始鏡頭邊界幀之間的第一視頻內容元素的第一子部分；以及

截斷結束鏡頭邊界幀和第一視頻內容元素的所選擇的部分的結束幀之間的第一視頻內容元素的第二子部分。

2.根據權利要求1所述的方法，其中，計算所述進一步子集的分數還包括：

計算所述進一步子集和正樣本圖像集之間的第一距離度量；

計算所述進一步子集和負樣本圖像集之間的第二距離度量；以及

基于第一距離度量和第二距離度量的組合來計算所述進一步子集的分數。

3.根據權利要求1所述的方法，其中，計算所述進一步子集的分數還包括：

使用圖像識別算法來檢測來自所述進一步子集的對象；

使用圖像識別算法來識別從所述進一步子集檢測到的對象的一個或多個屬性；以及

基于從所述對象識別的一個或多個屬性來計算所述進一步子集的分數。

4.根據權利要求1所述的方法，其中，計算所述進一步子集的分數還包括：

通過將運動檢測算法應用于兩個對應幀來在所述進一步子集的每個幀之間計算運動度量；以及

基于在所述進一步子集的每個幀之間計算的運動度量的集來計算所述進一步子集的分數。

5.根據權利要求1所述的方法，其中，計算所述進一步子集的分數還包括：

確定所述進一步子集的幀的多個像素之間的顏色分布；以及

基于所述進一步子集的幀的多個像素之間的顏色分布來計算所述進一步子集的分數。

6.根據權利要求1所述的方法，其中，計算所述進一步子集的分數還包括：

通過將對應數量的圖像分析算法應用于所述進一步子集的幀來為多個進一步子集的每一個計算多個分數；以及

基于所述多個分數的預定加權平均值來計算分數。

7.根據權利要求1所述的方法，其中，選擇第一視頻內容元素的一部分還包括：

識別與具有最高分數的進一步子集的第二初始幀相對應的第一視頻內容元素的第一初始幀；

識別與具有最高分數的進一步子集的第二結束幀相對應的第一視頻內容元素的第一結束幀；以及

從第一初始幀到第一結束幀選擇第一視頻內容元素的幀子集。

8.根據權利要求1所述的方法，其中，計算所述進一步子集的分數還包括計算包括一個幀的進一步子集的分數；

其中，生成第二視頻內容元素還包括生成包括來自多個幀中的一個幀的第二視頻內容元素。

9.根據權利要求1所述的方法，還包括：

由所述數據處理系統使用圖像識別算法從包括對象的第一多個幀中識別連續幀的第二子集；以及

由所述數據處理系統將連續幀的第二子集連接到第二視頻內容元素。