[發(fā)明專利]視頻流的基于實(shí)體的時間分割

有效

• 申請?zhí)枺?/td>: 201680019489.4
• 申請日: 2016-04-13
• 公開（公告）號: CN107430687B9
• 公開（公告）日: 2022-04-08
• 發(fā)明（設(shè)計）人: 蔡明軒;蘇達(dá)赫恩德拉·維婭亞納拉辛漢;托馬斯·伊佐;桑凱希·謝帝;巴拉科利什南·瓦瑞德瑞簡
• 申請（專利權(quán)）人: 谷歌有限責(zé)任公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;H04N5/91
• 代理公司: 中原信達(dá)知識產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 周亞榮;安翔

1.一種用于時間上分割視頻的方法，所述方法包括：

從所述視頻的多個解碼的視頻幀選擇樣本視頻幀；

利用神經(jīng)網(wǎng)絡(luò)模型在訓(xùn)練圖像的語料庫上訓(xùn)練注釋模型；

利用經(jīng)訓(xùn)練的注釋模型注釋所選擇的樣本視頻幀中的每個樣本視頻幀；

基于所選擇的樣本視頻幀的所述注釋，將所選擇的樣本視頻幀分割為所述視頻的每個實(shí)體的多個片段，所述視頻的實(shí)體的片段表示所述視頻的語義上有意義的空間-時間區(qū)域，其中，所述分割包括：

對于所述視頻的每個實(shí)體：

生成所述實(shí)體的時間序列，所述時間序列包括包含所述實(shí)體的所選擇的樣本視頻幀的多個時間戳以及指示所述實(shí)體被準(zhǔn)確識別的可能性的所述實(shí)體的對應(yīng)的置信度得分；

將平滑函數(shù)應(yīng)用于所述實(shí)體的所生成的時間序列；以及

基于所述實(shí)體的經(jīng)平滑的時間序列的置信度得分來識別包含所述實(shí)體的每個片段的邊界；以及

基于所述視頻的每個實(shí)體的所述多個片段來生成所述視頻的總體時間分割。

2.根據(jù)權(quán)利要求1所述的方法，其中，注釋所選擇的樣本視頻幀中的每個樣本視頻幀包括：

將經(jīng)訓(xùn)練的注釋模型應(yīng)用于所選擇的樣本視頻幀；

基于經(jīng)訓(xùn)練的注釋模型的所述應(yīng)用來識別存在于所選擇的樣本視頻幀中的一個或多個實(shí)體，所述視頻的所識別的實(shí)體表示所選擇的樣本視頻幀中的感興趣對象；以及

通過注釋參數(shù)集合來表示每個所識別的實(shí)體。

3.根據(jù)權(quán)利要求2所述的方法，其中，用于所選擇的樣本視頻幀中的實(shí)體的所述注釋參數(shù)集合包括描述所述實(shí)體的語義的描述性標(biāo)簽、包含所述實(shí)體的所選擇的樣本視頻幀的一部分以及指示所述實(shí)體被準(zhǔn)確識別的可能性的所述置信度得分。

4.根據(jù)權(quán)利要求1所述的方法，其中，將平滑函數(shù)應(yīng)用于所述實(shí)體的所生成的時間序列包括：

將移動窗口應(yīng)用于所述實(shí)體的所述時間序列，所述移動窗口由大小和步長定義，并且所述移動窗口選擇在所述移動窗口內(nèi)的時間戳的多個置信度得分；以及

計算通過所述移動窗口選擇的所述置信度得分的平均置信度得分。

5.根據(jù)權(quán)利要求1所述的方法，其中，識別實(shí)體的片段的邊界包括：

選擇所述片段的起始閾值，所述起始閾值指示所述片段的開始；

選擇所述片段的偏移閾值，所述偏移閾值指示所述片段的結(jié)束；

將所述實(shí)體的經(jīng)平滑的時間序列的所述置信度得分與所述起始閾值和所述偏移閾值進(jìn)行比較；以及

基于所述實(shí)體的經(jīng)平滑的時間序列的所述置信度得分的所述比較來識別所述片段的所述邊界。

6.一種存儲有指令的非暫時性計算機(jī)可讀存儲介質(zhì)，所述指令在被執(zhí)行時使得計算機(jī)處理器執(zhí)行操作，所述操作包括：

從視頻的多個解碼的視頻幀選擇樣本視頻幀；

利用神經(jīng)網(wǎng)絡(luò)模型在訓(xùn)練圖像的語料庫上訓(xùn)練注釋模型；

利用經(jīng)訓(xùn)練的注釋模型注釋所選擇的樣本視頻幀中的每個樣本視頻幀；

基于所選擇的樣本視頻幀的所述注釋，將所選擇的樣本視頻幀分割為所述視頻的每個實(shí)體的多個片段，所述視頻的實(shí)體的片段表示所述視頻的語義上有意義的空間-時間區(qū)域，其中，所述分割包括：

對于所述視頻的每個實(shí)體：

生成所述實(shí)體的時間序列，所述時間序列包括包含所述實(shí)體的所選擇的樣本視頻幀的多個時間戳以及指示所述實(shí)體被準(zhǔn)確識別的可能性的所述實(shí)體的對應(yīng)的置信度得分；

將平滑函數(shù)應(yīng)用于所述實(shí)體的所生成的時間序列；以及

基于所述實(shí)體的經(jīng)平滑的時間序列的置信度得分來識別包含所述實(shí)體的每個片段的邊界；并且

基于所述視頻的每個實(shí)體的所述多個片段來生成所述視頻的總體時間分割。

7.根據(jù)權(quán)利要求6所述的非暫時性計算機(jī)可讀存儲介質(zhì)，其中，注釋所選擇的樣本視頻幀中的每個樣本視頻幀包括：

將經(jīng)訓(xùn)練的注釋模型應(yīng)用于所選擇的樣本視頻幀；

基于經(jīng)訓(xùn)練的注釋模型的所述應(yīng)用來識別存在于所選擇的樣本視頻幀中的一個或多個實(shí)體，所述視頻的所識別的實(shí)體表示所選擇的樣本視頻幀中的感興趣對象；并且

通過注釋參數(shù)集合來表示每個所識別的實(shí)體。