[發(fā)明專利]視頻檢測方法、裝置、設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010513757.6
• 申請日: 2020-06-08
• 公開（公告）號: CN113836966A
• 公開（公告）日: 2021-12-24
• 發(fā)明（設(shè)計）人: 朱艷宏;李琴;李唯源
• 申請（專利權(quán)）人: 中國移動通信有限公司研究院;中國移動通信集團有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08;H04N21/439;H04N21/44
• 代理公司: 北京派特恩知識產(chǎn)權(quán)代理有限公司 11270
• 代理人: 姚文嫻;張穎玲

1.一種視頻檢測方法，其特征在于，包括：

獲取視頻播放終端的視頻信息，所述視頻信息包括以下至少之一：圖像信息、音頻信息及用于指示視頻播放過程中交互行為的交互信息；

基于所述視頻信息和視頻檢測模型識別視頻播放過程中的視頻異常形態(tài)，其包括以下至少之一：

基于所述視頻信息中的圖像信息和第一視頻檢測模型，識別視頻播放過程中是否存在圖像相關(guān)的第一異常形態(tài)；

基于所述視頻信息中的音頻信息和第二視頻檢測模型，識別視頻播放過程中是否存在聲音相關(guān)的第二異常形態(tài)；

基于所述視頻信息中的交互信息和第三視頻檢測模型，識別視頻播放過程中是否存在交互相關(guān)的第三異常形態(tài)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取視頻播放終端的視頻信息，包括以下至少之一：

基于視頻播放終端的圖像緩存信息獲取圖像信息；

基于視頻播放終端的音頻緩存信息獲取音頻信息；

基于視頻播放終端的圖像緩存信息獲取交互信息。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

基于至少兩個視頻播放終端的數(shù)據(jù)集和聯(lián)邦學(xué)習(xí)訓(xùn)練生成所述第一視頻檢測模型。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述基于至少兩個視頻播放終端的數(shù)據(jù)集和聯(lián)邦學(xué)習(xí)訓(xùn)練生成所述第一視頻檢測模型，包括：

針對至少兩個視頻播放終端，獲取各所述視頻播放終端基于第一視頻檢測模型和各自的第一數(shù)據(jù)集訓(xùn)練生成的第一模型參數(shù)，所述第一數(shù)據(jù)集為帶有標(biāo)簽的圖像信息的集合；

基于各所述視頻播放終端的第一模型參數(shù)進行聯(lián)邦學(xué)習(xí)，以融合各所述視頻播放終端的第一模型參數(shù)；

發(fā)送融合后的第一模型參數(shù)給各所述視頻播放終端，以啟動各所述視頻播放終端的基于融合后的第一模型參數(shù)進行的下一次迭代，直至聯(lián)邦學(xué)習(xí)的第一視頻檢測模型滿足迭代結(jié)束的條件，得到訓(xùn)練好的第一視頻檢測模型。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述第一視頻檢測模型采用三維卷積神經(jīng)網(wǎng)絡(luò)3D-CNN與長短期記憶網(wǎng)絡(luò)LSTM相結(jié)合的深度學(xué)習(xí)模型。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

基于至少兩個視頻播放終端的數(shù)據(jù)集和聯(lián)邦學(xué)習(xí)訓(xùn)練生成所述第二視頻檢測模型。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述基于至少兩個視頻播放終端的數(shù)據(jù)集和聯(lián)邦學(xué)習(xí)訓(xùn)練生成所述第二視頻檢測模型，包括：

針對至少兩個視頻播放終端，獲取各所述視頻播放終端基于第二視頻檢測模型和各自的第二數(shù)據(jù)集訓(xùn)練生成的第二模型參數(shù)，所述第二數(shù)據(jù)集為帶有標(biāo)簽的音頻信息的集合；

基于各所述視頻播放終端的第二模型參數(shù)進行聯(lián)邦學(xué)習(xí)，以融合各所述視頻播放終端的第二模型參數(shù)；

發(fā)送融合后的第二模型參數(shù)給各所述視頻播放終端，以啟動各所述視頻播放終端的基于融合后的第二模型參數(shù)進行的下一次迭代，直至聯(lián)邦學(xué)習(xí)的第二視頻檢測模型滿足迭代結(jié)束的條件，得到訓(xùn)練好的第二視頻檢測模型。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述第二視頻檢測模型采用卷積神經(jīng)網(wǎng)絡(luò)CNN與LSTM相結(jié)合的深度學(xué)習(xí)模型。

9.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

基于至少兩個視頻播放終端的數(shù)據(jù)集和聯(lián)邦學(xué)習(xí)訓(xùn)練生成所述第三視頻檢測模型。