[發(fā)明專利]一種視頻內(nèi)容拆條方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201810896708.8
• 申請(qǐng)日: 2018-08-08
• 公開(kāi)（公告）號(hào): CN108965920A
• 公開(kāi)（公告）日: 2018-12-07
• 發(fā)明（設(shè)計(jì)）人: 陳長(zhǎng)偉;楊曉亮;田丹
• 申請(qǐng)（專利權(quán)）人: 北京未來(lái)媒體科技股份有限公司
• 主分類號(hào): H04N21/234
• 分類號(hào): H04N21/234;H04N21/44;H04N21/235;H04N21/435
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 王寶筠

1.一種視頻內(nèi)容拆條方法，其特征在于，包括：

獲取待進(jìn)行內(nèi)容拆條的視頻；

將所述視頻輸入至預(yù)訓(xùn)練的視頻內(nèi)容拆條模型，得到用于表征所述視頻的至少一個(gè)數(shù)據(jù)條目；所述視頻內(nèi)容拆條模型由至少一個(gè)視頻識(shí)別子模型構(gòu)成，不同的視頻識(shí)別子模型用于識(shí)別視頻中不同類別的視頻內(nèi)容得到識(shí)別結(jié)果，所述至少一個(gè)數(shù)據(jù)條目基于各所述視頻識(shí)別子模型對(duì)所述視頻的識(shí)別結(jié)果生成；

所述視頻內(nèi)容拆條模型是以卷積神經(jīng)網(wǎng)絡(luò)的至少一個(gè)待訓(xùn)練視頻識(shí)別子模型中，每個(gè)待訓(xùn)練視頻識(shí)別子模型對(duì)訓(xùn)練樣本的輸出結(jié)果均趨近于該待訓(xùn)練視頻識(shí)別子模型對(duì)該訓(xùn)練樣本的標(biāo)定輸出結(jié)果為訓(xùn)練目標(biāo)，對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到的。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，預(yù)訓(xùn)練的視頻內(nèi)容拆條模型接收所述視頻，得到用于表征所述視頻的至少一個(gè)數(shù)據(jù)條目，包括：

預(yù)訓(xùn)練的視頻內(nèi)容拆條模型接收所述視頻，對(duì)所述視頻進(jìn)行解析，得到播放時(shí)間連續(xù)的至少一個(gè)視頻幀；

分別將所述至少一個(gè)視頻幀輸入至所述視頻內(nèi)容拆條模型中的每個(gè)視頻識(shí)別子模型，以得到每個(gè)所述視頻識(shí)別子模型對(duì)所述視頻的識(shí)別結(jié)果；

基于所得到的各識(shí)別結(jié)果，生成用于表征所述視頻的至少一個(gè)數(shù)據(jù)條目。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述視頻識(shí)別子模型可以為用于對(duì)所述視頻中的文字進(jìn)行識(shí)別的文字識(shí)別模型、用于對(duì)所述視頻中的語(yǔ)音進(jìn)行識(shí)別的語(yǔ)音識(shí)別模型、用于對(duì)所述視頻中的人臉進(jìn)行識(shí)別的人臉識(shí)別模型，或者用于對(duì)所述視頻中的物體進(jìn)行識(shí)別的物體識(shí)別模型。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述物體識(shí)別模型對(duì)所述視頻的識(shí)別結(jié)果包括所述視頻中出現(xiàn)的物體、場(chǎng)景和人物特寫，所述人物特寫用于表征人物的特征，所述場(chǎng)景包括用于表征地理位置的第一場(chǎng)景以及用于表征人物動(dòng)作的第二場(chǎng)景；

所述基于所得到的各識(shí)別結(jié)果，生成用于表征所述視頻的至少一個(gè)數(shù)據(jù)條目，包括：

基于所述物體識(shí)別模型對(duì)所述視頻的識(shí)別結(jié)果，確定所述視頻所屬的視頻類型，所述視頻類型為用于表征所述視頻的一個(gè)數(shù)據(jù)條目。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述基于所得到的各識(shí)別結(jié)果，生成用于表征所述視頻的至少一個(gè)數(shù)據(jù)條目，包括：

從文字識(shí)別模型對(duì)所述視頻的識(shí)別結(jié)果和語(yǔ)音識(shí)別模型對(duì)所述視頻的識(shí)別結(jié)果中，提取關(guān)鍵字；

基于所述關(guān)鍵字生成所述視頻的標(biāo)簽，所述標(biāo)簽為用于表征所述視頻的一個(gè)數(shù)據(jù)條目。

6.根據(jù)權(quán)利要求1-5任意一項(xiàng)所述的方法，其特征在于，卷積神經(jīng)網(wǎng)絡(luò)被訓(xùn)練，得到包括至少一個(gè)視頻識(shí)別子模型的視頻內(nèi)容拆條模型的過(guò)程包括：

接收一個(gè)訓(xùn)練樣本，所述訓(xùn)練樣本不同于歷史訓(xùn)練樣本，所述訓(xùn)練樣本為視頻訓(xùn)練樣本；

對(duì)該訓(xùn)練樣本進(jìn)行解析得到播放時(shí)間連續(xù)的至少一個(gè)視頻幀；

將所述至少一個(gè)視頻幀分別輸入至所述卷積神經(jīng)網(wǎng)絡(luò)中的每個(gè)待訓(xùn)練視頻識(shí)別子模型，得到每個(gè)所述待訓(xùn)練視頻識(shí)別子模型對(duì)該至少一個(gè)視頻幀的識(shí)別結(jié)果；

確定每個(gè)所述待訓(xùn)練視頻識(shí)別子模型對(duì)該至少一個(gè)視頻幀的識(shí)別結(jié)果是否均趨近于該待訓(xùn)練樣本對(duì)應(yīng)該待訓(xùn)練視頻識(shí)別子模型的標(biāo)定輸出結(jié)果，若是，將當(dāng)前卷積神經(jīng)網(wǎng)絡(luò)確定為視頻內(nèi)容拆條模型；

若否，針對(duì)每個(gè)目標(biāo)待訓(xùn)練視頻識(shí)別子模型，利用該目標(biāo)待訓(xùn)練視頻識(shí)別子模型對(duì)該至少一個(gè)視頻幀的識(shí)別結(jié)果和該待訓(xùn)練樣本對(duì)該目標(biāo)待訓(xùn)練視頻識(shí)別子模型的標(biāo)定輸出結(jié)果，反向調(diào)節(jié)該目標(biāo)待訓(xùn)練視頻識(shí)別子模型中的參數(shù)，得到調(diào)整后的目標(biāo)待訓(xùn)練識(shí)別子模型；若待訓(xùn)練視頻識(shí)別子模型對(duì)該至少一個(gè)視頻幀的識(shí)別結(jié)果不趨近于該待訓(xùn)練樣本對(duì)應(yīng)該待訓(xùn)練視頻識(shí)別子模型的標(biāo)定輸出結(jié)果，該待訓(xùn)練視頻識(shí)別子模型為目標(biāo)待訓(xùn)練視頻識(shí)別子模型；

返回執(zhí)行“接收一個(gè)訓(xùn)練樣本”步驟。