[發明專利]一種視頻內容抽取的方法、裝置、計算機設備及存儲介質

在審

• 申請號: 202110220323.1
• 申請日: 2021-02-26
• 公開（公告）號: CN112966150A
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 陳昊
• 申請（專利權）人: 平安普惠企業管理有限公司
• 主分類號: G06F16/783
• 分類號: G06F16/783;G06F16/75;G06K9/00;G06T9/00;G06N3/04;G06N3/08
• 代理公司: 深圳市世聯合知識產權代理有限公司 44385
• 代理人: 汪琳琳

1.一種視頻內容抽取的方法，其特征在于，包括：

從預設的數據庫中獲取第一樣本視頻，將所述第一樣本視頻導入預先訓練好的變分自編碼器中；

對所述第一樣本視頻進行特征提取，獲取所述第一樣本視頻對應的隱變量特征，其中，所述隱變量特征為所述第一樣本視頻的視頻特征分布；

從預設的數據庫中獲取第二樣本視頻，并對所述第二樣本視頻進行標注；

基于標注后的所述第二樣本視頻和所述視頻特征分布，生成模型訓練集；

通過所述模型訓練集對預設的初始視頻抽取模型進行訓練，得到訓練完成的視頻抽取模型；

接收目標視頻，將所述目標視頻導入到訓練完成的所述視頻抽取模型，輸出所述目標視頻對應的視頻抽取結果。

2.如權利要求1所述的視頻內容抽取的方法，其特征在于，在所述從預設的數據庫中獲取第一樣本視頻，將所述第一樣本視頻導入預先訓練好的變分自編碼器中的步驟之前，還包括：

從預設的數據庫中獲取第三樣本視頻，并將所述第三樣本視頻導入預設的初始變分自編碼器中；

對所述第三樣本視頻進行編碼，得到第三視頻編碼矩陣；

計算第三視頻編碼矩陣的均值和方差，并將所述第三視頻編碼矩陣的均值和方差按照預設分布進行隨機采樣，得到隱變量特征；

對所述隱變量特征進行解碼，生成對應的解碼視頻；

判斷生成的所述解碼視頻和所述第三樣本視頻是否一致；

若生成的所述解碼視頻和所述第三樣本視頻不一致，則對所述初始變分自編碼器進行調整，直至所述解碼視頻和所述第三樣本視頻達到一致為止。

3.如權利要求2所述的視頻內容抽取的方法，其特征在于，所述對所述初始變分自編碼器進行調整，直至所述解碼視頻和所述第三樣本視頻達到一致為止的步驟，具體包括：

構建所述初始變分自編碼器的損失函數；

基于所述損失函數計算所述解碼視頻和所述第三樣本視頻之間的預測誤差；

基于所述預測誤差使用反向傳播算法對所述初始變分自編碼器進行迭代更新，直至所述初始變分自編碼器輸出的解碼視頻與所述第三樣本視頻達到一致為止。

4.如權利要求1所述的視頻內容抽取的方法，其特征在于，所述基于標注后的所述第二樣本視頻和所述視頻特征分布，生成模型訓練集的步驟，具體包括：

分別對標注后的所述第二樣本視頻與所述視頻特征分布進行編碼，得到第二視頻編碼矩陣和視頻特征編碼矩陣；

基于所述第二視頻編碼矩陣和所述視頻特征編碼矩陣生成第四樣本視頻；

組合所述第二樣本視頻和所述第四樣本視頻，得到所述模型訓練集。

5.如權利要求4所述的視頻內容抽取的方法，其特征在于，所述基于所述第二視頻編碼矩陣和所述視頻特征編碼矩陣生成第四樣本視頻的步驟，具體包括：

從所述第二視頻編碼矩陣中提取所述第二樣本視頻的特征因子；

基于所述第二樣本視頻的特征因子對所述視頻特征編碼矩陣進行調整，得到第四視頻編碼矩陣；

基于所述第四視頻編碼矩陣生成第四樣本視頻。

6.如權利要求1至5任意一項所述的視頻內容抽取的方法，其特征在于，所述通過所述模型訓練集對預設的初始視頻抽取模型進行訓練，得到訓練完成的視頻抽取模型的步驟，具體包括：

提取所述訓練樣本集中每一視頻幀的特征張量，并組合所有視頻幀的特征張量，得到特征張量組合；

對所述特征張量組合進行特征相似度預測，獲得特征預測結果；

基于所述特征預測結果對所述特征張量組合進行合并，得到合并張量；

對所述合并張量進行解碼，生成與所述合并張量對應的解碼結果；

基于解碼結果和預設標準結果使用反向傳播算法對所述初始視頻抽取模型進行迭代更新，直至模型擬合，得到擬合的視頻抽取模型。