[發(fā)明專利]一種視頻特征提取方法及裝置

在審

• 申請?zhí)枺?/td>: 201810271774.6
• 申請日: 2018-03-29
• 公開（公告）號: CN110321759A
• 公開（公告）日: 2019-10-11
• 發(fā)明（設計）人: 何軼;李磊;楊成;李根;李亦錟
• 申請（專利權）人: 北京字節(jié)跳動網(wǎng)絡技術有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京中原華和知識產權代理有限責任公司 11019
• 代理人: 壽寧;張華輝

本公開涉及一種視頻特征提取方法及裝置，該方法包括：對視頻對象進行抽幀，得到一個或多個幀圖像；對每個所述幀圖像逐級地進行多種類型的池化，以得到所述幀圖像的圖像特征；其中，所述多種類型的池化包括最大池化、最小池化和平均池化；根據(jù)所述一個或多個幀圖像的所述圖像特征確定視頻特征。

技術領域

本公開涉及視頻處理技術領域，特別是涉及一種視頻特征的提取方法及裝置。

背景技術

在如今的多媒體信息社會中，用戶每天向視頻平臺上傳海量的視頻，這些視頻中大部分是正常的有價值視頻，然而也有一些問題視頻，問題視頻主要包括：和平臺視頻數(shù)據(jù)庫中的已有視頻重復的視頻、與版權數(shù)據(jù)庫中的視頻重復的視頻(例如，需要支付版權費的視頻)以及某些不適宜或禁止展示的視頻。因此需要對用戶上傳的海量視頻進行快速的比對和過濾。而提高視頻比對速度和準確性的核心技術是對視頻幀的特征進行合理的提取和相似度判斷。

為了提高比對速度和準確性，需要為一個視頻生成一個能表征此視頻的視頻特征，目的是通過比對兩個視頻的視頻特征來判斷視頻的相似程度。視頻特征的提取方法和視頻特征的優(yōu)良程度決定了視頻比對的效率和準確率。

發(fā)明內容

本公開的目的在于提供一種新的視頻特征提取方法及裝置。

本公開的目的是采用以下的技術方案來實現(xiàn)的。依據(jù)本公開提出的視頻特征提取方法，包括以下步驟：對視頻對象進行抽幀，得到一個或多個幀圖像；對每個所述幀圖像逐級地進行多種類型的池化，以得到所述幀圖像的圖像特征；其中，所述多種類型的池化包括最大池化、最小池化和平均池化；根據(jù)所述一個或多個幀圖像的所述圖像特征確定視頻特征。

本公開的目的還可以采用以下的技術措施來進一步實現(xiàn)。

前述的視頻特征提取方法，其中所述的對每個所述幀圖像逐級地進行多種類型的池化包括：基于所述幀圖像的多種顏色通道逐級地進行所述多種類型的池化。

前述的視頻特征提取方法，其中所述的對每個所述幀圖像逐級地進行多種類型的池化，以得到所述幀圖像的圖像特征包括：根據(jù)所述幀圖像確定一個矩陣，利用所述多種類型的池化，逐級地生成更小的矩陣，直到縮小為僅包含一個點的矩陣，根據(jù)所述僅包含一個點的矩陣確定所述圖像特征。

前述的視頻特征提取方法，其中所述對每個所述幀圖像逐級地進行多種類型的池化，以得到所述幀圖像的圖像特征包括以下步驟：(a)根據(jù)一個所述幀圖像，確定一個具有第一矩陣維度和第二矩陣維度的第一矩陣；所述第一矩陣中的點與所述幀圖像中的像素相對應；所述第一矩陣中的點的取值為第一向量，所述第一向量為3維的向量，用于表示對應像素的三個顏色通道的亮度；(b)在所述第一矩陣上設置多個第一區(qū)塊，每個所述第一區(qū)塊包含多個所述第一向量；所述多個第一區(qū)塊在第一矩陣維度上的數(shù)量少于所述第一矩陣在第一矩陣維度上所包含的點的數(shù)量，且所述多個第一區(qū)塊在第二矩陣維度上的數(shù)量少于所述第一矩陣在第二矩陣維度上所包含的點的數(shù)量；對于每個所述第一區(qū)塊，分別計算所述第一區(qū)塊所包含的多個所述第一向量的各個維的最大值、最小值和平均值，得到一個9維的第二向量；(c)根據(jù)所述多個第一區(qū)塊所對應的所述第二向量，確定第二矩陣；所述第二矩陣中的點與所述第一區(qū)塊相對應，所述第二矩陣中的點的取值為所述第二向量；(d)重復步驟(b)和步驟(c)，直到將所述第一矩陣縮小成一個取值為3^N維向量的點，其中的N為正整數(shù)；將所述3^N維向量確定為所述幀圖像的圖像特征。

前述的視頻特征提取方法，其中所述的根據(jù)所述一個或多個幀圖像的所述圖像特征確定視頻特征包括：對所述圖像特征進行二值化處理，得到二值化圖像特征；根據(jù)所述一個或多個幀圖像的所述二值化圖像特征，確定視頻特征。