[發明專利]一種視頻內容抽取的方法、裝置、計算機設備及存儲介質

在審

• 申請號: 202110220323.1
• 申請日: 2021-02-26
• 公開（公告）號: CN112966150A
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 陳昊
• 申請（專利權）人: 平安普惠企業管理有限公司
• 主分類號: G06F16/783
• 分類號: G06F16/783;G06F16/75;G06K9/00;G06T9/00;G06N3/04;G06N3/08
• 代理公司: 深圳市世聯合知識產權代理有限公司 44385
• 代理人: 汪琳琳

本申請公開了一種視頻內容抽取的方法、裝置、計算機設備及存儲介質，屬于人工智能技術領域，本申請通過將第一樣本視頻導入預先訓練好的變分自編碼器中，獲取第一樣本視頻對應的隱變量特征，其中，隱變量特征為第一樣本視頻的視頻特征分布，對第二樣本視頻進行標注，基于標注后的第二樣本視頻和視頻特征分布，生成模型訓練集，通過模型訓練集對預設的初始視頻抽取模型進行訓練，接收目標視頻，將目標視頻導入到視頻抽取模型，輸出目標視頻對應的視頻抽取結果。此外，本申請還涉及區塊鏈技術，目標視頻可存儲于區塊鏈中。本申請通過變分自編碼器生成大量的標注樣本視頻，有效降低了樣本視頻標注的工作量，提高了模型訓練的效率。

技術領域

本申請屬于人工智能技術領域，具體涉及一種視頻內容抽取的方法、裝置、計算機設備及存儲介質。

背景技術

隨著人工智能在金融領域中的廣泛使用，在移動端開展金融業務的場景越來越豐富，很多場景下需要借助移動端錄制視頻，然后通過移動端錄制的視頻開展相應的業務，如人臉識別審批業務等等。然而在通過移動端錄制的視頻開展業務之前，往往需要對視頻內容進行抽取處理，以獲得視頻中的重點信息內容，例如，在人臉識別審批業務場景中，通過對視頻內容進行抽取獲得用戶臉部信息內容。

傳統解決視頻內容抽取問題主要基于兩種思路來實現。第一種方法是基于預設抽取規則的方法，即預先根據經驗制定出一系列的抽取規則，比如制定人物占畫面的比例大于某個閾值進行抽取等等，但在通過抽取規則對視頻內容進行抽取時，首先需要制定一個完整抽取規則，制作完整抽取規則本身難度非常大，其次制定出的抽取規則可能在少數場合滿足需求，但是很難以做到多場景通用的效果。第二類方法是基于自注意力學習的方法，比如基于深度學習模型，通過訓練好的深度學習模型對視頻內容進行抽取，雖然現有的基于自注意力學習方法會取得效果較好，但是在視頻抽取模型訓練時，需要用到大量的訓練視頻，且這些訓練視頻都需要提前進行人工標注，而對視頻進行人工標注的過程較為繁瑣，效率較低且容易出現標注錯誤的情況。

發明內容

本申請實施例的目的在于提出一種視頻內容抽取方法、裝置、計算機設備及存儲介質，以解決現有基于自注意力學習方法采用人工標注的方式進行訓練視頻的標注，而人工標準存在的效率較低且容易出現標注錯誤的問題。

為了解決上述技術問題，本申請實施例提供一種視頻內容抽取的方法，采用了如下所述的技術方案：

一種視頻內容抽取的方法，包括：

從預設的數據庫中獲取第一樣本視頻，將第一樣本視頻導入預先訓練好的變分自編碼器中；

對第一樣本視頻進行特征提取，獲取第一樣本視頻對應的隱變量特征，其中，隱變量特征為第一樣本視頻的視頻特征分布；

從預設的數據庫中獲取第二樣本視頻，并對第二樣本視頻進行標注；

基于標注后的第二樣本視頻和視頻特征分布，生成模型訓練集；

通過模型訓練集對預設的初始視頻抽取模型進行訓練，得到訓練完成的視頻抽取模型；

接收目標視頻，將目標視頻導入到訓練完成的視頻抽取模型，輸出目標視頻對應的視頻抽取結果。

進一步地，在從預設的數據庫中獲取第一樣本視頻，將第一樣本視頻導入預先訓練好的變分自編碼器中的步驟之前，還包括：

從預設的數據庫中獲取第三樣本視頻，并將第三樣本視頻導入預設的初始變分自編碼器中；

對第三樣本視頻進行編碼，得到第三視頻編碼矩陣；

計算第三視頻編碼矩陣的均值和方差，并將第三視頻編碼矩陣的均值和方差按照預設分布進行隨機采樣，得到隱變量特征；

對隱變量特征進行解碼，生成對應的解碼視頻；

判斷生成的解碼視頻和第三樣本視頻是否一致；