[發明專利]選擇和呈現代表性幀以用于視頻預覽

在審

• 申請號: 201580034616.3
• 申請日: 2015-09-05
• 公開（公告）號: CN107077595A
• 公開（公告）日: 2017-08-18
• 發明（設計）人: 桑凱希·謝帝;托馬斯·伊佐;蔡明軒;蘇達赫恩德拉·維婭亞納拉辛漢;阿波斯托洛斯·勒里奧斯;薩米·阿布-艾爾-海賈;喬治·丹·托代里奇;蘇珊娜·里科;巴拉科利什南·瓦瑞德瑞簡;尼古拉·穆謝托拉;辜維欣;楊瑋龍;尼汀·坎德爾瓦;勒彭
• 申請（專利權）人: 谷歌公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 中原信達知識產權代理有限責任公司11219
• 代理人: 孫志湧,周亞榮

技術領域

本公開一般涉及向用戶呈現代表性視頻概述，并且具體地涉及使用語義特征來選擇代表性視頻概述。

背景技術

視頻托管系統存儲并向客戶端設備提供視頻。隨著這些視頻托管系統變得越來越流行，視頻托管系統越來越多地存儲較長形式的視頻，有時超過幾小時的長度。這些較長形式的視頻可以顯示各種各樣的主題和設置，并且描繪視頻內的許多不同的場景和對象。例如，題為“塞倫蓋蒂動物”的野生動物視頻可能會顯示許多不同的動物，如獅子、瞪羚、大象和鬣狗。這些動物可以在各種各樣的背景中顯示，例如在放牧、遷移時或追逐期間。當用戶瀏覽視頻時，視頻托管服務提供視頻的一些部分作為視頻的預覽，諸如從視頻的開始的單個幀。對于較長形式的視頻，預覽的選擇通常不能準確地表示視頻的全部內容，并且用戶不能在不觀看視頻本身的情況下快速地區分特定視頻是否具有期望的內容。在“塞倫蓋蒂動物”示例中，該預覽可以示出獅子休息的幀，但是用戶在沒有觀看視頻的情況下將不能夠確定視頻還包括遷移瞪羚。

發明內容

視頻托管服務以視頻的預覽將來自視頻的代表性幀呈現給用戶。這允許用戶接收關于視頻的附加上下文，并且確定是否選擇要觀看那個視頻。視頻托管服務分析由視頻托管服務接收的視頻以生成描述視頻內的各個幀的特征。這樣的特征包括：描述幀的低級別信息，例如顏色、運動和音頻特征；以及預測幀內各種概念的存在的語義特征。在幀中識別的這樣的概念包括例如幀包括特定類型的對象(“獅子”)或動作(“打獵”)。

視頻托管服務基于視頻的特征來識別視頻內的片段。每個片段識別將被匯總在一起的視頻的連續幀的一部分。在一個實施例中，通過識別視頻中的鏡頭邊界來確定每個片段。在識別片段集合之后，視頻托管系統分析每個片段并識別可用于向用戶概述該片段的代表性幀。為了識別代表性幀，視頻托管系統確定哪些語義概念在片段內并且根據幀中包含該片段的語義概念的似然性對片段中的每個幀進行打分。在一個實施例中，分數組合來自幀的多個語義概念的分數，這可以允許包括片段的多個概念的幀比包括片段的單個概念的幀接收到更高的分數。每個幀的分數還可以包括指示其照片質量的幀的美學分數。選擇片段中具有最高分數的幀作為該片段的代表性幀。可以通過銳度和對比度等來度量照片質量。在各種實施例中，語義分數與美學分數組合以確定該幀的總分數。選擇片段中具有最高總分數的幀作為該片段的代表性幀。

在一個實施例中，通過一種或多種不同的分割技術來識別視頻的片段。由每種技術識別的片段被稱為片段集合，并且片段集合中的片段可以是原始視頻的重疊部分。因此，可以通過各種片段集合以多種不同的方式來分割視頻。確定每個片段集合的每個片段的代表性幀。作為多個片段集合的結果，視頻托管系統基于用于分割視頻的技術來識別視頻的代表性幀，增加代表性幀捕獲視頻的替代部分的似然性。片段和相關聯的代表性幀被存儲為在片段表中的條目。條目指示片段的視頻的部分、片段的代表性幀以及與該代表性幀相關聯的概念。

視頻托管系統接收用于概述視頻的請求。概述視頻的請求可以基于用戶瀏覽視頻托管系統中的視頻，或者可以基于與請求相關聯的搜索查詢。視頻托管系統通過將片段的語義概念與與請求相關聯的語義概念進行比較來識別片段表中與請求相關的片段。通過對搜索查詢、用戶興趣信息的分析或通過識別與視頻的元數據相關聯的語義概念來確定與請求相關聯的語義概念。當沒有搜索時，在一些實施例中，片段表中的所有片段被視為相關的。

接下來，從相關片段中，選擇代表性片段集合。可以選擇一個或多個代表性片段。基于相關片段和與查詢相關聯的語義概念之間的匹配來對相關片段進行打分。在打分之后，從相關片段中選擇代表性片段集合以概述視頻。視頻托管系統選擇具有最高分數并反映與所選擇的片段相關聯的語義概念中的多樣性的片段。與所選擇的片段相關聯的代表性幀用于生成視頻的概述。所述概述按時間順序組合代表性幀并向用戶呈現一系列幀。視頻概述被提供給可以確定是否觀看整個視頻的用戶。