[發明專利]視頻檢測方法、裝置、設備及介質

在審

• 申請號: 202210369060.5
• 申請日: 2022-04-08
• 公開（公告）號: CN114724218A
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 郝艷妮;馬先欽;王璋盛;王一剛;曹家;羅引;王磊
• 申請（專利權）人: 北京中科聞歌科技股份有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V40/40;G06V20/40;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京開陽星知識產權代理有限公司 11710
• 代理人: 吳崇

1.一種視頻檢測方法，其特征在于，包括：

獲取待檢測的圖像序列，所述圖像序列包含同一視頻中的至少兩個視頻幀；

針對所述圖像序列中的每個圖像，對所述圖像的臉部特征進行非線性變換處理，得到所述圖像對應的臉部多個區域的注意力特征；

基于各個所述圖像對應的臉部多個區域的注意力特征，構建所述圖像序列對應的臉部多個區域之間的時序關系特征；

基于所述時序關系特征，計算所述視頻為偽造臉部的視頻的概率。

2.根據權利要求1所述的方法，其特征在于，所述獲取待檢測的圖像序列，包括：

將所述視頻劃分為多個視頻段；

按照預設抽幀方式，抽取每個所述視頻段的關鍵視頻幀；

按照播放時間順序對各個所述關鍵視頻幀進行排序，得到所述圖像序列。

3.根據權利要求1所述的方法，其特征在于，所述對所述圖像的臉部特征進行非線性變換處理，得到所述圖像對應的臉部多個區域的注意力特征，包括：

對所述圖像進行三維臉部特征提取處理，得到所述圖像對應的三維臉部特征；

對所述圖像對應的三維臉部特征進行三維卷積運算，得到所述圖像對應的臉部多個區域的注意力權重矩陣；

基于所述圖像對應的三維臉部特征和所述圖像對應的臉部多個區域的注意力權重矩陣，生成所述圖像對應的臉部多個區域的注意力特征。

4.根據權利要求3所述的方法，其特征在于，所述基于所述圖像對應的三維臉部特征和所述圖像對應的臉部多個區域的注意力權重矩陣，生成所述圖像對應的臉部多個區域的注意力特征，包括：

將所述圖像對應的三維臉部特征與所述圖像對應的臉部多個區域的注意力權重矩陣的乘積，作為所述圖像對應的臉部多個區域的注意力特征矩陣；

對所述圖像對應的臉部多個區域的注意力特征矩陣的高度維度和寬度維度分別進行求和，得到求和后的注意力特征矩陣；

對所述求和后的注意力特征矩陣的長度維度進行全局平均池化，得到所述圖像對應的臉部多個區域的注意力特征。

5.根據權利要求3所述的方法，其特征在于，所述對所述圖像對應的三維臉部特征進行三維卷積運算，得到所述圖像對應的臉部多個區域的注意力權重矩陣，包括：

基于三維注意力神經網絡模型，對所述圖像對應的三維臉部特征進行三維卷積運算，得到所述圖像對應的臉部多個區域的注意力權重矩陣；其中，所述三維注意力神經網絡模型包括三個注意力機制模塊，每個所述注意力機制模塊包含三維卷積層、三維批標準化層和激活層，所述三維注意力神經網絡模型的損失函數包括基于時序連續性損失函數和稀疏注意力對比損失函數。

6.根據權利要求1所述的方法，其特征在于，所述基于各個所述圖像對應的臉部多個區域的注意力特征，構建所述圖像序列對應的臉部多個區域之間的時序關系特征，包括：

針對每個所述圖像，根據所述圖像對應的臉部多個區域的注意力特征，構建所述圖像對應的臉部多個區域的圖結構數據；

對各個所述圖像對應的臉部多個區域的圖結構數據進行時序關系構建處理，得到所述圖像序列對應的臉部多個區域之間的時序關系特征。

7.根據權利要求6所述的方法，其特征在于，所述對各個所述圖像對應的臉部多個區域的圖結構數據進行時序關系構建處理，得到所述圖像序列對應的臉部多個區域之間的時序關系特征，包括：

基于時序圖神經網絡模型，對各個所述圖像對應的臉部多個區域的圖結構數據進行時序關系構建處理，得到所述圖像序列對應的最后一個隱含狀態圖；

將所述最后一個隱含狀態圖作為所述圖像序列對應的臉部多個區域之間的時序關系特征。