[發(fā)明專利]視頻審核方法、視頻審核裝置、設(shè)備和存儲(chǔ)介質(zhì)

有效

• 申請?zhí)枺?/td>: 201911338418.2
• 申請日: 2019-12-23
• 公開（公告）號: CN111225234B
• 公開（公告）日: 2022-07-26
• 發(fā)明（設(shè)計(jì)）人: 楊睿智;石峰;劉振強(qiáng)
• 申請（專利權(quán)）人: 廣州市百果園信息技術(shù)有限公司
• 主分類號: H04N21/234
• 分類號: H04N21/234;G06F16/75;G06Q50/26
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種視頻審核方法，其特征在于，包括：

獲取待審核視頻的多幀視頻圖像；

通過預(yù)先訓(xùn)練的違規(guī)檢測模型從多幀視頻圖像中提取違規(guī)對象得到多幀違規(guī)圖像；

將每幀違規(guī)圖像輸入預(yù)先訓(xùn)練的違規(guī)分類模型中，獲得每幀違規(guī)圖像所包含的違規(guī)分類以及各個(gè)違規(guī)分類的分類得分；

基于所有違規(guī)圖像的所述違規(guī)分類和所述分類得分確定所述待審核視頻在每個(gè)違規(guī)分類上的分類總得分；

根據(jù)預(yù)設(shè)審核條件和每個(gè)違規(guī)分類的分類總得分審核所述待審核視頻；

所述違規(guī)檢測模型通過以下方式訓(xùn)練：

獲取訓(xùn)練視頻圖像，所述訓(xùn)練視頻圖像包括違規(guī)對象以及標(biāo)注有所述違規(guī)對象的第一位置；

將所述訓(xùn)練視頻圖像輸入初始化的違規(guī)檢測模型中以預(yù)測出所述訓(xùn)練視頻圖像中所述違規(guī)對象的第二位置；

采用所述第一位置和所述第二位置計(jì)算損失率；

若所述損失率未滿足預(yù)設(shè)條件，則采用所述損失率計(jì)算梯度；

基于所述梯度和預(yù)設(shè)的學(xué)習(xí)率對所述違規(guī)檢測模型進(jìn)行反向傳播以調(diào)整所述違規(guī)檢測模型的模型參數(shù)，返回將所述訓(xùn)練視頻圖像輸入初始化的違規(guī)檢測模型中以預(yù)測出所述訓(xùn)練視頻圖像中所述違規(guī)對象的第二位置的步驟。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取待審核視頻的多幀圖像，包括：

按照預(yù)設(shè)采樣周期從待審核視頻中采集多幀原始視頻圖像；

對多幀原始視頻圖像進(jìn)行預(yù)處理，得到預(yù)處理后的多幀視頻圖像；

其中，所述預(yù)處理包括圖像縮放處理。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述從多幀視頻圖像中提取違規(guī)對象得到多幀違規(guī)圖像，包括：

將每幀視頻圖像輸入預(yù)先訓(xùn)練的違規(guī)檢測模型中，獲得每幀視頻圖像中違規(guī)對象的違規(guī)信息；

針對每幀視頻圖像，基于所述違規(guī)信息從所述視頻圖像中提取違規(guī)對象得到多幀違規(guī)圖像。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述違規(guī)信息包括違規(guī)對象的位置信息和違規(guī)得分，所述針對每幀視頻圖像，基于所述違規(guī)信息從所述視頻圖像中提取違規(guī)對象得到多幀違規(guī)圖像，包括：

針對每幀視頻圖像，確定出違規(guī)得分大于預(yù)設(shè)閾值的違規(guī)對象；

根據(jù)所述位置信息從所述視頻圖像中提取包含違規(guī)得分大于預(yù)設(shè)閾值的違規(guī)對象得到違規(guī)圖像。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將每幀違規(guī)圖像輸入預(yù)先訓(xùn)練的違規(guī)分類模型中，獲得每幀違規(guī)圖像所包含的違規(guī)分類以及各個(gè)違規(guī)分類的分類得分，包括：

對所述違規(guī)圖像進(jìn)行預(yù)處理，得到預(yù)處理后的違規(guī)圖像；

將預(yù)處理后的違規(guī)圖像輸入違規(guī)分類模型中，獲得每幀違規(guī)圖像所包含的違規(guī)分類以及各個(gè)違規(guī)分類的分類得分。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所有違規(guī)圖像的所述違規(guī)分類和所述分類得分確定所述待審核視頻在每個(gè)違規(guī)分類上的分類總得分，包括：

將所有違規(guī)分類的分類得分輸入預(yù)先訓(xùn)練的違規(guī)得分預(yù)測模型中，得到所述待審核視頻在每個(gè)違規(guī)分類上的總得分。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述違規(guī)得分預(yù)測模型通過以下方式訓(xùn)練：

構(gòu)建訓(xùn)練數(shù)據(jù)，所述訓(xùn)練數(shù)據(jù)包括訓(xùn)練視頻和所述訓(xùn)練視頻包含的違規(guī)分類以及每個(gè)違規(guī)分類的第一分類總得分；

將每個(gè)違規(guī)分類的分類得分輸入初始化的違規(guī)得分預(yù)測模型中以獲得所述訓(xùn)練視頻在每個(gè)違規(guī)分類的第二分類總得分；

采用所述第一分類總得分和所述第二分類總得分計(jì)算損失率；

若所述損失率未滿足預(yù)設(shè)條件，則采用所述損失率計(jì)算梯度；

基于所述梯度和預(yù)設(shè)的學(xué)習(xí)率對所述違規(guī)得分預(yù)測模型進(jìn)行反向傳播以調(diào)整所述違規(guī)得分預(yù)測模型的模型參數(shù)，返回將每個(gè)違規(guī)分類的分類得分輸入初始化的違規(guī)得分預(yù)測模型中以獲得所述訓(xùn)練視頻在每個(gè)違規(guī)分類的第二分類總得分的步驟。