[發(fā)明專利]視頻處理方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010906983.0
• 申請(qǐng)日: 2020-08-31
• 公開（公告）號(hào): CN112000842A
• 公開（公告）日: 2020-11-27
• 發(fā)明（設(shè)計(jì)）人: 高永強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 北京字節(jié)跳動(dòng)網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號(hào): G06F16/75
• 分類號(hào): G06F16/75;G06K9/62;G06N3/02;G06N3/08
• 代理公司: 北京海智友知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11455
• 代理人: 吳京順

1.一種視頻處理方法，包括：

獲取待分類視頻；

確定所述待分類視頻包括的所有預(yù)設(shè)時(shí)長(zhǎng)片段的預(yù)設(shè)分類信息；

根據(jù)所述待分類視頻包括的所有預(yù)設(shè)時(shí)長(zhǎng)片段的預(yù)設(shè)分類信息，確定所述待分類視頻的分類結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述確定所述待分類視頻包括的所有預(yù)設(shè)時(shí)長(zhǎng)片段的預(yù)設(shè)分類信息，包括：

對(duì)所述待分類視頻進(jìn)行分割，獲取所述待分類視頻的所有預(yù)設(shè)時(shí)長(zhǎng)片段，基于對(duì)預(yù)設(shè)時(shí)長(zhǎng)片段的內(nèi)容理解，確定預(yù)設(shè)時(shí)長(zhǎng)片段的預(yù)設(shè)分類信息。

3.根據(jù)權(quán)利要求1所述的方法，其中，所述確定所述待分類視頻包括的所有預(yù)設(shè)時(shí)長(zhǎng)片段的預(yù)設(shè)分類信息，包括：

將所述待分類視頻輸入預(yù)先訓(xùn)練的視頻分類模型，針對(duì)于所述待分類視頻包括的所有預(yù)設(shè)時(shí)長(zhǎng)片段中的每個(gè)預(yù)設(shè)時(shí)長(zhǎng)片段，通過所述視頻分類模型中的目標(biāo)全連接層得到表征該預(yù)設(shè)時(shí)長(zhǎng)片段的預(yù)設(shè)分類信息的特征向量；以及

所述根據(jù)所述待分類視頻包括的所有預(yù)設(shè)時(shí)長(zhǎng)片段的預(yù)設(shè)分類信息，確定所述待分類視頻的分類結(jié)果，包括：

根據(jù)所述待分類視頻包括的每個(gè)預(yù)設(shè)時(shí)長(zhǎng)片段對(duì)應(yīng)的特征向量，通過所述視頻分類模型中連接所述目標(biāo)全連接層的柔性最大化層確定所述待分類視頻的分類結(jié)果，其中，所述視頻分類模型用于表征待分類視頻與分類結(jié)果之間的對(duì)應(yīng)關(guān)系。

4.根據(jù)權(quán)利要求3所述的方法，其中，所述根據(jù)所述待分類視頻包括的每個(gè)預(yù)設(shè)時(shí)長(zhǎng)片段對(duì)應(yīng)的特征向量，通過所述視頻分類模型中連接所述目標(biāo)全連接層的柔性最大化層確定所述待分類視頻的分類結(jié)果，包括：

針對(duì)于所述待分類視頻包括的每個(gè)預(yù)設(shè)時(shí)長(zhǎng)片段對(duì)應(yīng)的特征向量，進(jìn)行最大池化；

將進(jìn)行最大池化后的每個(gè)特征向量輸入所述柔性最大化層，確定所述待分類視頻的分類結(jié)果。

5.根據(jù)權(quán)利要求1所述的方法，其中，所述視頻分類模型是以殘差神經(jīng)網(wǎng)絡(luò)為主干網(wǎng)絡(luò)的時(shí)間轉(zhuǎn)移模型。

6.根據(jù)權(quán)利要求1所述的方法，其中，所述視頻分類模型通過如下方式訓(xùn)練得到：

獲取訓(xùn)練樣本集，其中，所述訓(xùn)練樣本集中的訓(xùn)練樣本包括樣本視頻、樣本視頻包括的所有樣本視頻片段的預(yù)設(shè)分類信息以及樣本視頻的分類結(jié)果；

采用機(jī)器學(xué)習(xí)算法，以訓(xùn)練樣本中的樣本視頻作為初始視頻分類模型的輸入，以輸入的樣本視頻包括的所有樣本視頻片段中的每個(gè)樣本視頻片段的預(yù)設(shè)分類信息，依次作為初始視頻分類模型中的目標(biāo)全連接層的期望輸出，以輸入的樣本視頻的分類結(jié)果作為初始視頻分類模型中連接所述目標(biāo)全連接層的柔性最大化層的期望輸出，訓(xùn)練得到所述視頻分類模型。

7.根據(jù)權(quán)利要求6所述的方法，其中，所述視頻分類模型采用對(duì)稱交叉熵函數(shù)，其中，所述對(duì)稱交叉熵函數(shù)通過交叉熵函數(shù)和反向交叉熵函數(shù)得到。

8.根據(jù)權(quán)利要求1-7任一所述的方法，其中，所述待分類視頻的分類結(jié)果包括所述待分類視頻屬于各預(yù)設(shè)分類信息的概率，以及各預(yù)設(shè)分類信息所對(duì)應(yīng)的預(yù)設(shè)時(shí)長(zhǎng)片段的數(shù)量。

9.一種視頻處理裝置，包括：

獲取單元，被配置成獲取待分類視頻；

確定單元，被配置成確定所述待分類視頻包括的所有預(yù)設(shè)時(shí)長(zhǎng)片段的預(yù)設(shè)分類信息；

分類單元，被配置成根據(jù)所述待分類視頻包括的所有預(yù)設(shè)時(shí)長(zhǎng)片段的預(yù)設(shè)分類信息，確定所述待分類視頻的分類結(jié)果。

10.一種服務(wù)器，包括：

一個(gè)或多個(gè)處理器；

存儲(chǔ)裝置，其上存儲(chǔ)有一個(gè)或多個(gè)程序；

當(dāng)所述一個(gè)或多個(gè)程序被所述一個(gè)或多個(gè)處理器執(zhí)行，使得所述一個(gè)或多個(gè)處理器實(shí)現(xiàn)如權(quán)利要求1-8中任一所述的方法。

11.一種計(jì)算機(jī)可讀介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其中，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-8中任一所述的方法。