[發明專利]選擇視頻的代表性視頻幀

在審

• 申請號: 201680025199.0
• 申請日: 2016-06-24
• 公開（公告）號: CN107960125A
• 公開（公告）日: 2018-04-24
• 發明（設計）人: 喬納森·欣斯;喬治·丹·托代里奇;薩米·阿布-艾爾-海賈
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 中原信達知識產權代理有限責任公司11219
• 代理人: 李佳,穆德駿

技術領域

本說明書涉及互聯網視頻搜索引擎。

背景技術

互聯網搜索引擎旨在識別與用戶的信息需求相關的互聯網資源，特別是視頻，并且旨在以對用戶最有用的方式呈現關于視頻的信息。響應于用戶提交的查詢，互聯網視頻搜索引擎通常返回視頻搜索結果集合，每個視頻搜索結果識別相應的視頻。

發明內容

通常，本說明書中所述主題的一個創新方面能夠通過包括以下動作的方法來體現：接收搜索查詢，其中，所述搜索查詢包括一個或多個查詢詞項；確定所述搜索查詢的查詢表示，其中，所述查詢表示是高維空間中的數字的矢量；獲取識別所述搜索查詢的多個響應視頻的數據，其中，每個響應視頻包括多個幀，其中，每個幀具有相應的幀表示，以及其中，每個幀表示是高維空間中的數字的矢量；對于每個響應視頻，使用所述查詢表示和所述響應視頻中的幀的幀表示從所述響應視頻中選擇代表性幀；以及生成對搜索查詢的響應，其中，對搜索查詢的響應包括所述響應視頻中的每個的相應視頻搜索結果，以及其中，所述響應視頻中的每個的相應視頻搜索結果包括來自該相應視頻的代表性視頻幀的呈現。

所述響應視頻中的每個的相應視頻搜索結果可以包括用于從所述響應視頻的代表性幀開始回放所述響應視頻的鏈接。對于每個響應視頻，使用所述查詢表示和所述響應視頻中的幀的幀表示從所述響應視頻中選擇代表性幀可以包括：計算所述查詢表示與所述響應視頻幀中的幀的幀表示中的每個之間的相應距離度量。

對于每個響應視頻，使用所述查詢表示和所述響應視頻中的幀的幀表示從所述響應視頻中選擇代表性幀可以進一步包括：根據所述距離度量，選擇具有最接近所述查詢表示的幀表示的幀作為所述代表性幀。

對于每個響應視頻，使用所述查詢表示和所述響應視頻中的幀的幀表示從所述響應視頻中選擇代表性幀可以進一步包括：從所述距離度量中生成所述幀中的每個的相應概率；確定所述幀中的任何一個的最高概率是否超過閾值；當所述最高概率超過所述閾值時，選擇具有所述最高概率的幀作為所述代表性幀。

對于每個響應視頻，使用所述查詢表示和所述響應視頻中的幀的幀表示從所述響應視頻中選擇代表性幀可以進一步包括：當所述最高概率不超過所述閾值時，選擇默認幀作為所述代表性幀。

確定所述搜索查詢的查詢表示可以包括：確定所述搜索查詢中的一個或多個詞項中的每個的相應詞項表示，其中，所述詞項表示是詞項在高維空間中的表示；以及從所述一個或多個詞項表示中確定所述查詢表示。

所述方法可以進一步包括：對于所述響應視頻中的每個，確定所述響應視頻中的所述多個幀中的每個的相應幀表示。確定所述響應視頻中的所述多個幀中的每個的相應幀表示可以包括：保存將預定標簽集合中的每個標簽映射到相應標簽表示的數據。每個標簽表示可以是高維空間中的數字的矢量。所述幀可以使用深卷積神經網絡來處理，以生成所述幀的標簽分數集合，其中，所述標簽分數集合包括所述預定標簽集合中的每個標簽的相應分數，以及其中，所述標簽中的每個的相應分數表示所述幀包含由所述標簽標記的對象類別中的對象的圖像的似然率。可以根據所述幀的標簽分數集合和所述標簽表示來計算所述幀的幀表示。

根據所述幀的標簽分數集合和所述標簽表示來計算所述幀的幀表示可以包括：對于所述標簽中的每個，通過將所述標簽的標簽分數乘以所述標簽的標簽表示，計算所述標簽的加權表示；以及通過計算所述加權表示之和，計算所述幀的幀表示。

確定所述響應視頻中的所述多個幀中的每個的相應幀表示可以包括：使用修改的圖像分類神經網絡來處理所述幀以生成所述幀的幀表示。所述修改的圖像分類神經網絡可以包括：初始圖像分類神經網絡，其被配置成處理所述幀以生成預定標簽集合中的每個標簽的相應標簽分數；以及嵌入層，其被配置成接收所述標簽分數并且生成所述幀的幀表示。

可以已經在訓練三元組的集合上訓練所述修改的圖像分類卷積神經網絡，每個訓練三元組包括來自相應訓練視頻的相應訓練幀、肯定查詢表示和否定查詢表示。

所述肯定查詢表示可以是與所述訓練視頻相關聯的搜索查詢的查詢表示，并且所述否定查詢表示是不與所述訓練視頻相關聯的搜索查詢的查詢表示。

該方面的其他實施例包括對應的計算機系統、裝置以及記錄在一個或多個計算機存儲設備上的計算機程序，每個計算機存儲設備都被配置成執行所述方法的動作。一個或多個計算機的系統能夠被配置成借助具有在操作中使得所述系統執行所述動作的安裝于所述系統上的軟件、固件、硬件或其組合而執行特定的操作或動作。一個或多個計算機程序能夠被配置成借助包括當由數據處理裝置執行時使得所述裝置執行所述動作的指令而執行特定的操作或動作。