[發明專利]選擇和呈現代表性幀以用于視頻預覽

在審

• 申請號: 201580034616.3
• 申請日: 2015-09-05
• 公開（公告）號: CN107077595A
• 公開（公告）日: 2017-08-18
• 發明（設計）人: 桑凱希·謝帝;托馬斯·伊佐;蔡明軒;蘇達赫恩德拉·維婭亞納拉辛漢;阿波斯托洛斯·勒里奧斯;薩米·阿布-艾爾-海賈;喬治·丹·托代里奇;蘇珊娜·里科;巴拉科利什南·瓦瑞德瑞簡;尼古拉·穆謝托拉;辜維欣;楊瑋龍;尼汀·坎德爾瓦;勒彭
• 申請（專利權）人: 谷歌公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 中原信達知識產權代理有限責任公司11219
• 代理人: 孫志湧,周亞榮

1.一種用于選擇視頻的代表性幀的計算機實現的方法，包括：

接收包括幀集合的視頻；

識別所述視頻的所述幀的每個幀的特征集合，所述特征包括基于幀的特征和語義特征，所述語義特征識別語義概念在所述視頻的所述幀中作為內容存在的似然性；

生成所述視頻的視頻片段集合，每個視頻片段包括來自所述視頻的按時間順序的幀的子集，并且每個幀與所述語義特征中的至少一個語義特征相關聯；

至少基于所述語義特征為每個視頻片段的所述幀的子集的每個幀生成分數；和

基于所述視頻片段中的所述幀的所述分數為每個視頻片段選擇代表性幀，所述代表性幀表示和概述所述視頻片段。

2.根據權利要求1所述的方法，還包括生成所述視頻的片段表，所述片段表存儲所述視頻的所述視頻片段的所述代表性幀和與所述代表性幀的每一個相關聯的所述語義概念的集合。

3.根據權利要求1所述的計算機實現的方法，其中，所述基于幀的特征包括以下中的至少一個：

視覺特征，包括由顏色直方圖、定向梯度的直方圖、幀與相鄰幀的顏色差分、運動特征、或特征追蹤構成的組中的至少一個，以及；

音頻特征，包括由音量、音頻頻譜圖、話音-非話音指示符、或平穩化的聽覺圖像構成的組中的至少一個。

4.根據權利要求1所述的計算機實現的方法，其中，識別所述特征集合的所述步驟包括：

應用多個語義分類器以確定所述語義特征，

其中，語義分類器接收與基于幀的特征相關聯的幀的指定，并輸出所述幀與語義概念相關或描述語義概念的似然性，以及

其中，所述語義概念是分配給所述視頻的所述內容的標簽，并且對應于實體或自由文本。

5.根據權利要求1所述的計算機實現的方法，其中，生成所述視頻片段集合的所述步驟包括：

分析所述基于幀的特征以確定所述視頻內的鏡頭邊界集合；

其中，鏡頭包括連續幀集合，且鏡頭邊界指示相鄰鏡頭之間的幀。

6.根據權利要求5所述的計算機實現的方法，其中，確定所述鏡頭邊界的集合的所述步驟包括：

將分類器應用于與基于幀的特征相關聯的幀以確定幀是否是鏡頭邊界；

其中，使用有標簽的鏡頭邊界作為正性特征集合，且使用所述鏡頭邊界附近的幀作為硬負性訓練集合，來訓練所述分類器，以及

其中，所述基于幀的特征包括與相鄰幀的色差、運動特征、音頻音量、和音頻話音檢測。

7.根據權利要求5所述的計算機實現的方法，其中確定所述鏡頭邊界集合的所述步驟包括：

分析所述基于幀的特征的相干性；

其中，所述相干性度量在預定時間片段中基于幀的特征的相似性，并且

其中，所述相似性提供用于分割所述視頻的距離度量。

8.根據權利要求5所述的計算機實現的方法，其中確定所述鏡頭邊界集合的所述步驟包括：

在所述視頻的幀的多個系列中追蹤所述基于幀的特征；并且

其中，當幀和相鄰幀之間的基于幀的特征的變化大于閾值時，將所述幀確定為鏡頭邊界。

9.根據權利要求1所述的計算機實現的方法，其中所述分數包括語義分數，并且為所述幀生成所述語義分數的所述步驟包括：

通過將包括在所述視頻片段中的所述按時間順序的幀的子集生成的每個語義特征與閾值進行比較，為包含所述幀的視頻片段識別語義概念集合，其中所述集合的每個語義概念具有大于所述閾值的所述對應語義特征；和

對于所述集合的每個語義概念，通過確定與參考值相比存在于所述幀中的所述語義概念的量，來確定所述視頻片段中的所述按時間順序的幀的子集的每一幀的幀級別分數；以及

通過合計所述片段中的所述幀的所述幀級別分數來確定所述幀的所述語義分數。

10.根據權利要求1所述的計算機實現的方法，其中，生成所述每個幀的所述分數的所述步驟包括組合所述幀中的語義概念和對應的似然性。