[發(fā)明專(zhuān)利]生成數(shù)字媒介環(huán)境中的緊湊視頻特征表示

有效

• 申請(qǐng)?zhí)枺?/td>: 201710976648.6
• 申請(qǐng)日: 2017-10-19
• 公開(kāi)（公告）號(hào): CN108205581B
• 公開(kāi)（公告）日: 2023-04-28
• 發(fā)明（設(shè)計(jì)）人: 胡昊;王兆聞;李俊榮;林哲
• 申請(qǐng)（專(zhuān)利權(quán)）人: 奧多比公司
• 主分類(lèi)號(hào): G06F16/783
• 分類(lèi)號(hào): G06F16/783;G06N3/02
• 代理公司: 北京市金杜律師事務(wù)所 11256
• 代理人: 酆迅;丁君軍

本公開(kāi)的實(shí)施例涉及生成數(shù)字媒介環(huán)境中的緊湊視頻特征表示。描述了用于生成視頻中的幀序列的緊湊視頻特征表示的技術(shù)和系統(tǒng)。在一個(gè)示例中，使用機(jī)器學(xué)習(xí)(例如，通過(guò)使用卷積神經(jīng)網(wǎng)絡(luò))從視頻的多個(gè)幀中的每個(gè)幀提取特征的值。(例如，通過(guò)使用遞歸神經(jīng)網(wǎng)絡(luò))生成視頻的時(shí)間順序動(dòng)態(tài)的視頻特征表示。例如，維護(hù)多個(gè)特征中的每個(gè)特征的、已經(jīng)針對(duì)視頻中的多個(gè)幀已經(jīng)達(dá)到的最大值。還維護(hù)指示針對(duì)多個(gè)特征每個(gè)特征何時(shí)達(dá)到最大值的時(shí)間戳。視頻特征表示然后被輸出作為基于視頻特征表示確定視頻與至少一個(gè)其他視頻的相似性的基礎(chǔ)。

背景技術(shù)

機(jī)器學(xué)習(xí)由服務(wù)提供者系統(tǒng)使用，以基于一個(gè)到另一個(gè)的視頻相似性的確定，來(lái)支持各種視頻功能(例如，視頻檢索、視頻搜索、視頻推薦，等等)。用戶(hù)例如可以被呈現(xiàn)有基于由用戶(hù)先前地查看的視頻而由服務(wù)提供者系統(tǒng)提供的推薦視頻的列表。為了確定該相似性，服務(wù)提供者系統(tǒng)使用機(jī)器學(xué)習(xí)生成一個(gè)到另一個(gè)可比較的視頻表示。因此，在該示例中，在描述相應(yīng)視頻時(shí)的表示的準(zhǔn)確性還驅(qū)動(dòng)視頻比較的準(zhǔn)確性和所得到的推薦。

然而，用于生成視頻的表示的傳統(tǒng)機(jī)器學(xué)習(xí)技術(shù)被設(shè)計(jì)用于個(gè)體數(shù)字圖像而非視頻。例如，常規(guī)機(jī)器學(xué)習(xí)技術(shù)單獨(dú)地生成視頻的每個(gè)幀的表示，其然后被聚合形成視頻整體的表示。因此，傳統(tǒng)表示描述被包括在個(gè)體幀中的內(nèi)容而不是這些幀彼此的關(guān)系(即，隨時(shí)間在幀中發(fā)生的視頻的改變)。因此，傳統(tǒng)表示相反限于在個(gè)體幀中描述的內(nèi)容。

進(jìn)一步地，傳統(tǒng)機(jī)器學(xué)習(xí)技術(shù)導(dǎo)致具有基于視頻中的幀數(shù)可變的長(zhǎng)度的表示。這是因?yàn)槿缟衔乃枋龅膫鹘y(tǒng)技術(shù)依賴(lài)于被包括在個(gè)體幀中的每個(gè)幀中的內(nèi)容的描述。因此，具有日益更大的幀數(shù)的視頻還具有附加的更大的表示長(zhǎng)度以描述這些視頻。這導(dǎo)致生成這些表示的增加的計(jì)算資源使用。此外，表示的長(zhǎng)度中的差異還通過(guò)服務(wù)提供者系統(tǒng)引入的彼此的表示相似性的確定并且因此還增加計(jì)算資源使用。

此外，傳統(tǒng)技術(shù)通常使用數(shù)字圖像技術(shù)來(lái)編碼歸因于視頻中的每個(gè)幀的個(gè)體表示的視頻幀之間的冗余信息。例如，視頻的連續(xù)幀可以具有類(lèi)似內(nèi)容并且因此導(dǎo)致傳統(tǒng)表示中的內(nèi)容的類(lèi)似冗余表示。該冗余信息在將視頻彼此區(qū)分中很少使用，并且因此還由于被迫使解決該冗余信息的比較而通過(guò)服務(wù)提供者系統(tǒng)增加計(jì)算資源使用。因此，由服務(wù)提供者系統(tǒng)生成的視頻的傳統(tǒng)表示中的這些限制會(huì)限制這些系統(tǒng)準(zhǔn)確地支持取決于這些表示的功能(諸如視頻檢索、視頻搜索、視頻推薦)的能力。

發(fā)明內(nèi)容

描述了用于生成視頻中的幀序列的緊湊視頻特征表示的技術(shù)和系統(tǒng)。視頻特征表示例如可以表示由視頻展示的時(shí)間順序動(dòng)態(tài)并且具有固定的長(zhǎng)度。時(shí)間順序動(dòng)態(tài)描述特征的值如何隨時(shí)間改變(例如，以視頻的幀的順序)。因此，視頻特征表示提供有洞察力的信息，其可以用于以支持作為固定長(zhǎng)度的結(jié)果的有效比較的方式表征不同的類(lèi)型的視頻。例如，視頻特征表示的長(zhǎng)度獨(dú)立于視頻中的幀數(shù)。

在一個(gè)示例中，使用機(jī)器學(xué)習(xí)(例如，通過(guò)使用卷積神經(jīng)網(wǎng)絡(luò))從視頻的多個(gè)幀中的每個(gè)幀提取特征的值。然后基于這些所提取的特征(例如，通過(guò)使用遞歸神經(jīng)網(wǎng)絡(luò))生成視頻的時(shí)間順序動(dòng)態(tài)的視頻特征表示。因此，視頻特征表示是基于特征的數(shù)目而不是幀的數(shù)目，并且因此具有獨(dú)立于視頻中的幀數(shù)的長(zhǎng)度。例如，最大值被維護(hù)為多個(gè)特征的每個(gè)特征的、針對(duì)視頻中的多個(gè)幀已經(jīng)達(dá)到的視頻特征表示的一部分。時(shí)間戳還被維護(hù)為作為指示針對(duì)多個(gè)特征的每個(gè)特征何時(shí)達(dá)到最大值的視頻特征表示的一部分。視頻特征表示然后被輸出作為基于視頻特征表示確定視頻與至少一個(gè)其他視頻的相似性的基礎(chǔ)。

本概述引入以在詳細(xì)描述中下面進(jìn)一步描述的簡(jiǎn)化形式的概念的選擇。如此，本概述不旨在標(biāo)識(shí)要求保護(hù)的主題的基本特征，其也不旨在被用作輔助確定要求保護(hù)的主題的范圍。

附圖說(shuō)明

參考附圖描述詳細(xì)描述。附圖中表示的實(shí)體可以指示一個(gè)或多個(gè)實(shí)體，并且因此可以對(duì)討論中的單數(shù)或復(fù)數(shù)形式的實(shí)體可交換地進(jìn)行參考。

圖1是可操作以采用在此所描述的視頻特征表示技術(shù)的示例實(shí)現(xiàn)中的數(shù)字媒介環(huán)境的示圖。

圖2描繪了更詳細(xì)地示出圖1的表示生成模塊的操作的示例實(shí)現(xiàn)中的系統(tǒng)。