[發明專利]視頻流的基于實體的時間分割

有效

• 申請號: 201680019489.4
• 申請日: 2016-04-13
• 公開（公告）號: CN107430687B9
• 公開（公告）日: 2022-04-08
• 發明（設計）人: 蔡明軒;蘇達赫恩德拉·維婭亞納拉辛漢;托馬斯·伊佐;桑凱希·謝帝;巴拉科利什南·瓦瑞德瑞簡
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;H04N5/91
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 周亞榮;安翔

提供了一種基于對在視頻的視頻幀中識別的實體的分析來時間上分割視頻的解決方案。將視頻解碼為多個視頻幀，并且選擇多個視頻幀進行注釋。注釋過程識別存在于樣本視頻幀中的實體，并且每個所識別的實體具有時間戳以及指示該實體被準確識別的可能性的置信度得分。對于每個所識別的實體，生成由時間戳和對應的置信度得分組成的時間序列并對其進行平滑以減少注釋噪聲。通過檢測實體的時間序列中的片段的邊界來獲得在視頻的長度上包含實體的一個或多個片段。根據視頻中每個所識別的實體的個體時間分割，生成視頻的總體時間分割，其中該總體時間分割反映視頻的語義。

背景技術

所描述的實施例總體上涉及視頻處理，并且更具體地，涉及視頻流的基于實體的時間分割。

通過諸如YOUTUBE的托管服務共享具有各種不同內容并以不同格式編碼的視頻代表了對有效組織、索引和管理的日益增長的需求。大多數用于視頻瀏覽和檢索的現有解決方案是基于鏡頭的，其中視頻流在時間上被分割成鏡頭。視頻流的鏡頭是從一個相機拍攝的視頻流的不間斷視頻幀序列；使用基于鏡頭的時間分割的兩個時間上相鄰的片段在視覺上是不同的。

存在許多多媒體應用，其指向視頻場景的語義，而不是指向相鄰鏡頭之間的時間視覺差異。基于鏡頭的時間分割中的一個挑戰是將原始低級視頻數據與視頻流的高級語義字段相關聯(例如，尋找反映視頻的語義的視覺內容的適當表示)。以朝向跑道飛行并著陸的飛機的連續鏡頭為例，在語義層面上，連續鏡頭包括兩個場景：一個描述飛機飛行，另一個關于飛機著陸。如果兩個場景之間的過渡是平滑的，則基于鏡頭的分割可以不區分兩個場景。

發明內容

所描述的方法、系統和計算機程序產品提供了基于對在視頻的視頻幀中識別的實體的分析來時間上分割視頻的解決方案。

一個實施例包括一種用于時間上分割視頻的計算機實現的方法。該方法包括將視頻解碼為多個視頻幀的步驟。選擇多個視頻幀進行注釋。注釋過程識別存在于樣本視頻幀中的實體，并且每個所識別的實體具有時間戳以及指示該實體被準確識別的可能性的置信度得分。對于每個所識別的實體，生成并平滑由時間戳和對應的置信度得分組成的時間序列以減少注釋噪聲。通過檢測實體的時間序列中的片段的邊界來獲得在視頻的長度上包含實體的一個或多個片段。從視頻中的每個所識別的實體的個體時間分割，生成視頻的總體時間分割，其中總體時間分割反映視頻的語義。

本說明書中所描述的特征和優點不是全包括的，特別地，對于本領域普通技術人員而言許多附加特征和優點將由于附圖、說明書和權利要求書而顯而易見。此外，應當注意，本說明書中所使用的語言主要是為了可讀性和教導目的而選擇，而不是被選擇來描繪或限制所公開的主題。

附圖說明

圖1是示出根據一個實施例的具有基于實體的時間分割模塊的視頻托管服務的系統視圖的框圖。

圖2是具有戴帽子的狗以及狗和帽子的對應的注釋的視頻幀的示例。

圖3是示出根據一個實施例的分割模塊的框圖。

圖4示出視頻中識別的實體的時間序列與實體在視頻中的各種時間實例處的對應的置信度得分的示例。

圖5是對視頻中識別的實體的時間序列應用平滑函數的示例。

圖6是檢測視頻中識別的實體的片段邊界的示例。

圖7A是根據一個實施例的基于視頻中識別的實體的個體分割來生成視頻的總體分割的示例。

圖7B是在對識別的實體的個體分割排序之后與圖7A所示的視頻生成的總體分割對應的示例。

圖8是根據一個實施例的基于實體的時間分割的流程圖。

附圖僅為了例示的目的而描繪了本發明的各種實施例，并且本發明不限于這些示出的實施例。本領域技術人員將從以下討論容易地認識到，在不脫離本文所述的本發明的原理的情況下，可以采用本文所示的結構和方法的另選實施例。

具體實施例