[發(fā)明專利]用于選取視頻片段的方法、裝置、服務(wù)器和介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010065171.8
• 申請(qǐng)日: 2020-01-20
• 公開（公告）號(hào): CN111277892B
• 公開（公告）日: 2022-03-22
• 發(fā)明（設(shè)計(jì)）人: 李甫;何棟梁;孫昊
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): H04N21/44
• 分類號(hào): H04N21/44;H04N21/845;G06F16/738;G06F16/78;G06V20/40
• 代理公司: 北京英賽嘉華知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;馬曉亞

本公開的實(shí)施例公開了用于選取視頻片段的方法、裝置、服務(wù)器和介質(zhì)。該方法的一具體實(shí)施方式包括：從視頻確定出至少兩個(gè)視頻片段；對(duì)于各視頻片段，執(zhí)行如下的精彩度確定步驟：將該視頻片段中的視頻幀的特征序列和視頻的標(biāo)題的特征序列輸入預(yù)先建立的預(yù)測(cè)模型，得到所輸入的視頻幀與視頻的標(biāo)題的關(guān)聯(lián)度；基于該視頻片段的視頻幀與標(biāo)題的關(guān)聯(lián)度，確定該視頻片段的精彩度；基于各視頻片段的精彩度，從各視頻片段中確定出目標(biāo)視頻片段。通過預(yù)測(cè)模型計(jì)算視頻幀與標(biāo)題的關(guān)聯(lián)度，以此表征視頻幀的精彩程度，進(jìn)而獲得視頻中各個(gè)片段的精彩度，將精彩度最高的片段確定為該視頻中最精彩的片段，可以大量減少操作人員的工作量，提高選取視頻的效率。

技術(shù)領(lǐng)域

本公開的實(shí)施例涉及計(jì)算機(jī)技術(shù)領(lǐng)域，具體涉及用于選取視頻片段的方法、裝置、服務(wù)器和介質(zhì)。

背景技術(shù)

一段視頻中最精彩，最吸引眼球或者最符合標(biāo)題描述的片段稱為視頻的精彩片段，從視頻中選取精彩片段有著非常廣泛的應(yīng)用。例如，提取最精彩或最相關(guān)的一個(gè)片段，可用于視頻展示的動(dòng)態(tài)封面，吸引用戶點(diǎn)擊；可用于標(biāo)注人員的快速審核，只需觀看最重要的片段，無需觀看整段視頻；可用于后續(xù)視頻的進(jìn)一步高級(jí)加工，例如增加特效，慢放等操作；還可以用于精彩鏡頭合集、相關(guān)視頻推薦等。

相關(guān)技術(shù)中，選取視頻精彩片段的方法包括以下兩種：第一種方式是人工選取，標(biāo)注人員觀看完整個(gè)視頻后，手動(dòng)選取最精彩的一個(gè)片段，作為精彩片段的輸出。第二種方式是全監(jiān)督方式的模型訓(xùn)練，對(duì)于每個(gè)訓(xùn)練視頻，需要操作人員標(biāo)注出各個(gè)精彩片段的起止位置，然后利用深度學(xué)習(xí)訓(xùn)練一個(gè)二分類模型，判斷哪一段是精彩的，哪一段是不精彩的。

由于如今視頻資源日益增長(zhǎng)，這兩種方法的審核人員每天面對(duì)的新增視頻達(dá)十萬甚至百萬之多，導(dǎo)致人力不足，資源積壓；同時(shí)大量重復(fù)性的工作，增加了很多不必要的成本。

發(fā)明內(nèi)容

本公開的實(shí)施例提出了用于選取視頻片段的方法和裝置。

第一方面，本公開的實(shí)施例提供了一種用于選取視頻片段的方法，該方法包括：從視頻確定出至少兩個(gè)視頻片段；對(duì)于各視頻片段，執(zhí)行如下的精彩度確定步驟：將該視頻片段中的視頻幀的特征序列和視頻的標(biāo)題信息輸入預(yù)先建立的預(yù)測(cè)模型，得到所輸入的視頻幀與視頻的標(biāo)題的關(guān)聯(lián)度；基于該視頻片段的視頻幀與標(biāo)題的關(guān)聯(lián)度，確定該視頻片段的精彩度；基于各視頻片段的精彩度，從各視頻片段中確定出目標(biāo)視頻片段。

在一些實(shí)施例中，將該視頻片段中的視頻幀的特征序列和視頻的標(biāo)題信息輸入預(yù)先建立的預(yù)測(cè)模型，得到所輸入的視頻幀與視頻的標(biāo)題的關(guān)聯(lián)度，包括：將特征序列輸入第一全連接網(wǎng)絡(luò)模塊，輸出降維后的特征序列；將降維后的特征序列分別輸入正向GRU模塊和反向GRU模塊，并將正向GRU模塊和反向GRU模塊的輸出拼接得到編碼后的特征序列；將編碼后的特征序列和視頻的標(biāo)題信息輸入注意力模塊，得到視頻幀與標(biāo)題的關(guān)聯(lián)度，注意力模塊包括第二全連接網(wǎng)絡(luò)模塊和Softmax處理模塊，第二全連接網(wǎng)絡(luò)模塊的輸出維度為1。

在一些實(shí)施例中，第一全連接網(wǎng)絡(luò)模塊的輸出維度小于視頻幀的特征序列的維度，使得第一全連接網(wǎng)絡(luò)模塊輸出的特征序列的維度小于視頻幀的特征序列的維度；正向GRU模塊和反向GRU模塊的隱層維度均為第一全連接網(wǎng)絡(luò)模塊的輸出維度的一半，使得將正向GRU模塊和反向GRU模塊的輸出拼接之后形成的編碼后的特征序列的維度與第一全連接網(wǎng)絡(luò)模塊輸出的特征序列的維度相同。

在一些實(shí)施例中，預(yù)測(cè)模型通過如下方式訓(xùn)練得到：獲取訓(xùn)練視頻；基于獲取的視頻，獲取訓(xùn)練視頻中的視頻幀的特征序列、訓(xùn)練視頻的標(biāo)題信息以及視頻幀與標(biāo)題信息之間的關(guān)聯(lián)度；將所獲取的視頻幀的特征序列和訓(xùn)練視頻的標(biāo)題信息作為輸入，將視頻幀與標(biāo)題信息之間的關(guān)聯(lián)度作為期望輸出，訓(xùn)練預(yù)先建立的初始預(yù)測(cè)模型，得到訓(xùn)練后的預(yù)測(cè)模型。

在一些實(shí)施例中，標(biāo)題信息通過如下方式獲取：對(duì)視頻的標(biāo)題進(jìn)行切詞；確定視頻的標(biāo)題中包含的詞在詞典中的位置索引，詞典為預(yù)先存儲(chǔ)的詞的集合；確定位置索引為視頻的標(biāo)題信息。