[發明專利]選擇視頻的代表性視頻幀

在審

• 申請號: 201680025199.0
• 申請日: 2016-06-24
• 公開（公告）號: CN107960125A
• 公開（公告）日: 2018-04-24
• 發明（設計）人: 喬納森·欣斯;喬治·丹·托代里奇;薩米·阿布-艾爾-海賈
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 中原信達知識產權代理有限責任公司11219
• 代理人: 李佳,穆德駿

1.一種方法，包括：

接收搜索查詢，其中，所述搜索查詢包括一個或多個查詢詞項；

確定所述搜索查詢的查詢表示，其中，所述查詢表示是高維空間中的數字的矢量；

獲取識別所述搜索查詢的多個響應視頻的數據，其中，每個響應視頻包括多個幀，其中，每個幀具有相應的幀表示，以及其中，每個幀表示是所述高維空間中的數字的矢量；

對于每個響應視頻，使用所述查詢表示和所述響應視頻中的所述幀的幀表示，從所述響應視頻中選擇代表性幀；以及

生成對所述搜索查詢的響應，其中，對所述搜索查詢的所述響應包括所述響應視頻中每個響應視頻的相應視頻搜索結果，以及其中，每個所述響應視頻的所述相應視頻搜索結果包括來自所述響應視頻的所述代表性視頻幀的呈現。

2.根據權利要求1所述的方法，其中，所述響應視頻中每個響應視頻的所述相應視頻搜索結果包括鏈接，所述鏈接用于從來自所述響應視頻的所述代表性幀開始回放所述響應視頻。

3.根據權利要求1所述的方法，其中，對于每個響應視頻使用所述查詢表示和所述響應視頻中的所述幀的所述幀表示從所述響應視頻中選擇代表性幀包括：

計算所述查詢表示與所述響應視頻幀中的所述幀的所述幀表示中每個幀表示之間的相應距離度量。

4.根據權利要求3所述的方法，其中，對于每個響應視頻使用所述查詢表示和所述響應視頻中的所述幀的所述幀表示從所述響應視頻中選擇代表性幀進一步包括：

根據所述距離度量，選擇具有最接近所述查詢表示的幀表示的幀作為所述代表性幀。

5.根據權利要求3所述的方法，其中，對于每個響應視頻使用所述查詢表示和所述響應視頻中的所述幀的所述幀表示從所述響應視頻中選擇代表性幀進一步包括：

根據所述距離度量生成每個所述幀的相應概率；

確定是否所述幀中的任何一個幀的最高概率超過閾值；

當所述最高概率超過所述閾值時，選擇具有所述最高概率的幀作為所述代表性幀。

6.根據權利要求5所述的方法，其中，對于每個響應視頻使用所述查詢表示和所述響應視頻中的所述幀的所述幀表示從所述響應視頻中選擇代表性幀進一步包括：

當所述最高概率不超過所述閾值時，選擇默認幀作為所述代表性幀。

7.根據權利要求1所述的方法，其中，確定所述搜索查詢的查詢表示包括：

確定所述搜索查詢中的所述一個或多個詞項中每個詞項的相應詞項表示，其中，所述詞項表示是所述詞項在所述高維空間中的表示；以及

根據所述一個或多個詞項表示來確定所述查詢表示。

8.根據權利要求1所述的方法，進一步包括：

對于所述響應視頻中的每個響應視頻，確定來自所述響應視頻的所述多個幀中每個幀的所述相應幀表示。

9.根據權利要求8所述的方法，其中，確定來自所述響應視頻的所述多個幀中每個幀的所述相應幀表示包括：

保存將預定標簽集合中的每個標簽映射到相應標簽表示的數據，其中，每個標簽表示是所述高維空間中的數字的矢量；

使用深卷積神經網絡來處理所述幀，以生成所述幀的標簽分數集合，其中，所述標簽分數集合包括所述預定標簽集合中的每個標簽的相應分數，以及其中，所述標簽中每個標簽的所述相應分數表示所述幀包含來自由所述標簽標記的對象類別中的對象的圖像的似然率；以及

根據所述幀的所述標簽分數集合和所述標簽表示來計算所述幀的所述幀表示。

10.根據權利要求8所述的方法，其中，根據所述幀的所述標簽分數集合和所述標簽表示來計算所述幀的所述幀表示包括：

對于所述標簽中的每個，通過將所述標簽的所述標簽分數乘以所述標簽的所述標簽表示，來計算所述標簽的加權表示；以及

通過計算所述加權表示之和，來計算所述幀的所述幀表示。

11.根據權利要求8所述的方法，其中，確定來自所述響應視頻的所述多個幀中每個幀的所述相應幀表示包括：

使用修改的圖像分類神經網絡來處理所述幀以生成所述幀的幀表示，其中，所述修改的圖像分類神經網絡包括：

初始圖像分類神經網絡，被配置成處理所述幀以生成預定標簽集合中的每個標簽的相應標簽分數；以及

嵌入層，被配置成接收所述標簽分數并且生成所述幀的所述幀表示。