[發(fā)明專利]視頻處理方法和裝置

在審

• 申請?zhí)枺?/td>: 202010906983.0
• 申請日: 2020-08-31
• 公開（公告）號: CN112000842A
• 公開（公告）日: 2020-11-27
• 發(fā)明（設(shè)計(jì)）人: 高永強(qiáng)
• 申請（專利權(quán)）人: 北京字節(jié)跳動網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號: G06F16/75
• 分類號: G06F16/75;G06K9/62;G06N3/02;G06N3/08
• 代理公司: 北京海智友知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11455
• 代理人: 吳京順

本申請實(shí)施例公開了視頻處理方法和裝置。該方法的一具體實(shí)施方式包括：獲取待分類視頻；確定待分類視頻包括的所有預(yù)設(shè)時(shí)長片段的預(yù)設(shè)分類信息；根據(jù)待分類視頻包括的所有預(yù)設(shè)時(shí)長片段的預(yù)設(shè)分類信息，確定待分類視頻的分類結(jié)果。從而提供了一種視頻分類方式，準(zhǔn)確地對待分類視頻進(jìn)行分類，增加了趣味性；并提高了基于分類結(jié)果對待分類視頻進(jìn)行后續(xù)處理的便利性。

技術(shù)領(lǐng)域

本申請實(shí)施例涉及計(jì)算機(jī)技術(shù)領(lǐng)域，具體涉及視頻處理方法和裝 置。

背景技術(shù)

在很多的應(yīng)用場景中，對于得到的各種視頻，我們期望各個(gè)視頻 具有表征視頻內(nèi)容的類別，以方便根據(jù)各視頻的類別進(jìn)行相應(yīng)的選取 和處理。比如，假設(shè)有100個(gè)視頻，在視頻處理過程中，優(yōu)先選擇了 高光的視頻進(jìn)行拼接、剪輯等處理，而當(dāng)后續(xù)處理過程中需要填充一 個(gè)分?jǐn)?shù)較低非高光的視頻時(shí)，則可以選擇分類結(jié)果為非高光的視頻進(jìn) 行填充處理。目前，并未存在針對各視頻的分類機(jī)制。

發(fā)明內(nèi)容

本申請實(shí)施例提出了視頻處理方法和裝置。

第一方面，本申請實(shí)施例提供了一種視頻處理方法，該方法包括： 獲取待分類視頻；確定待分類視頻包括的所有預(yù)設(shè)時(shí)長片段的預(yù)設(shè)分 類信息；根據(jù)待分類視頻包括的所有預(yù)設(shè)時(shí)長片段的預(yù)設(shè)分類信息， 確定待分類視頻的分類結(jié)果。

在一些實(shí)施例中，上述確定待分類視頻包括的所有預(yù)設(shè)時(shí)長片段 的預(yù)設(shè)分類信息，包括：對待分類視頻進(jìn)行分割，獲取待分類視頻的 所有預(yù)設(shè)時(shí)長片段，基于對預(yù)設(shè)時(shí)長片段的內(nèi)容理解，確定預(yù)設(shè)時(shí)長 片段的預(yù)設(shè)分類信息。

在一些實(shí)施例中，上述確定待分類視頻包括的所有預(yù)設(shè)時(shí)長片段 的預(yù)設(shè)分類信息，包括：將待分類視頻輸入預(yù)先訓(xùn)練的視頻分類模型， 針對于待分類視頻包括的所有預(yù)設(shè)時(shí)長片段中的每個(gè)預(yù)設(shè)時(shí)長片段， 通過視頻分類模型中的目標(biāo)全連接層得到表征該預(yù)設(shè)時(shí)長片段的預(yù)設(shè) 分類信息的特征向量；以及

根據(jù)待分類視頻包括的所有預(yù)設(shè)時(shí)長片段的預(yù)設(shè)分類信息，確定 待分類視頻的分類結(jié)果，包括：根據(jù)待分類視頻包括的每個(gè)預(yù)設(shè)時(shí)長 片段對應(yīng)的特征向量，通過視頻分類模型中連接目標(biāo)全連接層的柔性 最大化層確定待分類視頻的分類結(jié)果，其中，視頻分類模型用于表征 待分類視頻與分類結(jié)果之間的對應(yīng)關(guān)系。

在一些實(shí)施例中，上述根據(jù)待分類視頻包括的每個(gè)預(yù)設(shè)時(shí)長片段 對應(yīng)的特征向量，通過視頻分類模型中連接目標(biāo)全連接層的柔性最大 化層確定待分類視頻的分類結(jié)果，包括：針對于待分類視頻包括的每 個(gè)預(yù)設(shè)時(shí)長片段對應(yīng)的特征向量，進(jìn)行最大池化；將進(jìn)行最大池化后 的每個(gè)特征向量輸入柔性最大化層，確定待分類視頻的分類結(jié)果。

在一些實(shí)施例中，視頻分類模型是以殘差神經(jīng)網(wǎng)絡(luò)為主干網(wǎng)絡(luò)的 時(shí)間轉(zhuǎn)移模型。

在一些實(shí)施例中，視頻分類模型通過如下方式訓(xùn)練得到：獲取訓(xùn) 練樣本集，其中，訓(xùn)練樣本集中的訓(xùn)練樣本包括樣本視頻、樣本視頻 包括的所有樣本視頻片段的預(yù)設(shè)分類信息以及樣本視頻的分類結(jié)果； 采用機(jī)器學(xué)習(xí)算法，以訓(xùn)練樣本中的樣本視頻作為初始視頻分類模型 的輸入，以輸入的樣本視頻包括的所有樣本視頻片段中的每個(gè)樣本視 頻片段的預(yù)設(shè)分類信息，依次作為初始視頻分類模型中的目標(biāo)全連接 層的期望輸出，以輸入的樣本視頻的分類結(jié)果作為初始視頻分類模型 中連接目標(biāo)全連接層的柔性最大化層的期望輸出，訓(xùn)練得到視頻分類 模型。

在一些實(shí)施例中，視頻分類模型采用對稱交叉熵函數(shù)，其中，對 稱交叉熵函數(shù)通過交叉熵函數(shù)和反向交叉熵函數(shù)得到。

在一些實(shí)施例中，待分類視頻的分類結(jié)果包括待分類視頻屬于各 預(yù)設(shè)分類信息的概率，以及各預(yù)設(shè)分類信息所對應(yīng)的預(yù)設(shè)時(shí)長片段的 數(shù)量。

第二方面，本申請實(shí)施例提供了一種視頻處理裝置，該裝置包括： 獲取單元，被配置成獲取待分類視頻；確定單元，被配置成確定待分 類視頻包括的所有預(yù)設(shè)時(shí)長片段的預(yù)設(shè)分類信息；分類單元，被配置 成根據(jù)待分類視頻包括的所有預(yù)設(shè)時(shí)長片段的預(yù)設(shè)分類信息，確定待 分類視頻的分類結(jié)果。