[發(fā)明專利]一種視頻內(nèi)容識別方法和相關(guān)裝置

在審

• 申請?zhí)枺?/td>: 202011137819.4
• 申請日: 2020-10-22
• 公開（公告）號: CN112270238A
• 公開（公告）日: 2021-01-26
• 發(fā)明（設(shè)計）人: 禹常隆;田植良
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 深圳市深佳知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44285
• 代理人: 王兆林

1.一種視頻內(nèi)容識別方法，其特征在于，所述方法包括：

對待識別視頻內(nèi)容進(jìn)行視頻分段，得到多個視頻片段；

獲取所述多個視頻片段分別對應(yīng)的風(fēng)格向量；

對獲取的所述風(fēng)格向量進(jìn)行相似度聚類，得到第一風(fēng)格聚類和第二風(fēng)格聚類；

確定所述第一風(fēng)格聚類對應(yīng)的風(fēng)格向量與所述第二風(fēng)格聚類對應(yīng)的風(fēng)格向量之間的風(fēng)格相似度；

根據(jù)所述風(fēng)格相似度確定所述待識別視頻內(nèi)容中是否包含與所述待識別視頻內(nèi)容不相關(guān)的內(nèi)容。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述確定所述第一風(fēng)格聚類對應(yīng)的風(fēng)格向量與所述第二風(fēng)格聚類對應(yīng)的風(fēng)格向量之間的風(fēng)格相似度，包括：

通過第一模型確定所述第一風(fēng)格聚類對應(yīng)的風(fēng)格向量與所述第二風(fēng)格聚類對應(yīng)的風(fēng)格向量之間的風(fēng)格相似度；

所述第一模型通過如下方式訓(xùn)練得到：

確定包括第一樣本和第二樣本的訓(xùn)練樣本對，所述第一樣本為不包含不相關(guān)內(nèi)容的第一樣本視頻內(nèi)容，所述第二樣本為包含不相關(guān)內(nèi)容的第二樣本視頻內(nèi)容；

根據(jù)所述第一樣本所包括視頻片段的風(fēng)格向量，通過第一初始模型確定所述第一樣本的兩個風(fēng)格聚類的風(fēng)格向量之間的正樣本風(fēng)格相似度；

根據(jù)所述第二樣本所包括視頻片段的風(fēng)格向量，通過所述第一初始模型確定所述第二樣本的兩個風(fēng)格聚類的風(fēng)格向量之間的負(fù)樣本風(fēng)格相似度；

基于增加所述正樣本風(fēng)格相似度和所述負(fù)樣本風(fēng)格相似度間的差別，對所述第一初始模型進(jìn)行訓(xùn)練，得到所述第一模型。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述風(fēng)格相似度確定所述待識別視頻內(nèi)容中是否包含與所述待識別視頻內(nèi)容不相關(guān)的內(nèi)容，包括：

若所述風(fēng)格相似度滿足相似度閾值，確定所述待識別視頻內(nèi)容中不包含與所述待識別視頻內(nèi)容不相關(guān)的內(nèi)容；

若所述風(fēng)格相似度不滿足相似度閾值，確定所述待識別視頻內(nèi)容中包含與所述待識別視頻內(nèi)容不相關(guān)的內(nèi)容；

其中所述相似度閾值是通過訓(xùn)練所述第一模型確定的。

4.根據(jù)權(quán)利要求1-3任意一項所述的方法，其特征在于，若根據(jù)所述風(fēng)格相似度確定所述待識別視頻內(nèi)容中包含與所述待識別視頻內(nèi)容不相關(guān)的內(nèi)容，所述方法還包括：

根據(jù)所述多個視頻片段間的片段邊界和所述多個視頻片段的播放順序，確定基于所述片段邊界相鄰的第一視頻片段和第二視頻片段；

獲取所述第一視頻片段的第一內(nèi)容特征和所述第二視頻片段的第二內(nèi)容特征；

根據(jù)所述第一內(nèi)容特征和所述第二內(nèi)容特征間的內(nèi)容相似度，確定所述片段邊界是否與所述不相關(guān)的內(nèi)容的邊界對應(yīng)；

若對應(yīng)，根據(jù)所述片段邊界確定所述不相關(guān)的內(nèi)容在所述待識別視頻內(nèi)容中所處的視頻區(qū)間。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述第一內(nèi)容特征和所述第二內(nèi)容特征間的內(nèi)容相似度為一階相似度，所述方法還包括：

確定所述第一視頻片段對應(yīng)的第一n階片段組，和所述第二視頻片段對應(yīng)的第二n階片段組；其中，n為不小于2的整數(shù)；

其中，所述第一n階片段組包括所述第一視頻片段和與所述第一視頻片段相鄰的n-1個視頻片段，所述第一n階片段組中不包括所述第二視頻片段；

所述第二n階片段組包括所述第二視頻片段和與所述第二視頻片段相鄰的n-1個視頻片段，所述第二n階片段組中不包括所述第一視頻片段；

確定所述第一n階片段組的內(nèi)容特征與所述第二n階片段組的內(nèi)容特征間的n階相似度；

所述根據(jù)所述第一內(nèi)容特征和所述第二內(nèi)容特征間的內(nèi)容相似度，確定所述片段邊界是否與所述不相關(guān)的內(nèi)容的邊界對應(yīng)，包括：

根據(jù)所述第一內(nèi)容特征和所述第二內(nèi)容特征間的一階相似度和n階相似度，確定所述片段邊界是否與所述不相關(guān)的內(nèi)容的邊界對應(yīng)。