[發明專利]一種視頻分類方法和裝置

有效

• 申請號: 201911058829.6
• 申請日: 2019-11-01
• 公開（公告）號: CN110879974B
• 公開（公告）日: 2020-10-13
• 發明（設計）人: 鄧積杰;何楠;林星;白興安;徐揚
• 申請（專利權）人: 北京微播易科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06F16/75;G06F16/35
• 代理公司: 北京瀚群律師事務所 11581
• 代理人: 王姍姍

1.一種視頻分類方法，其特征在于，包括：

根據待分類視頻中關鍵幀，獲取待分類視頻中每個關鍵幀的特征向量；

根據所述待分類視頻中每個關鍵幀的特征向量，獲取所述待分類視頻的視覺分類向量；

根據所述待分類視頻中圖像幀包含的文本，獲取所述待分類視頻的文本分類向量；

將所述視覺分類向量和所述文本分類向量代入預設分類模型，獲取所述待分類視頻的類別；

所述獲取所述待分類視頻的視覺分類向量，包括：

將所述待分類視頻中所有關鍵幀的特征向量按行進行組合，得到特征圖；

分別將所述特征圖中每列數據融合為一個數據，得到所述待分類視頻的視覺分類向量；

所述分別將所述特征圖中每列數據融合為一個數據，得到所述待分類視頻的視覺分類向量包括：

分別計算所述特征圖中每列數據的最大值，得到所述待分類視頻的視覺分類向量。

2.根據權利要求1所述的視頻分類方法，其特征在于，在所述將所述視覺分類向量和所述文本分類向量代入預設分類模型之前，還包括：

獲取多個視頻樣本，以及每個視頻樣本對應的視覺分類向量、文本分類向量和類別值；

分別根據每個視頻樣本對應的視覺分類向量、文本分類向量和類別值對初始分類器進行訓練，得到所述分類模型。

3.根據權利要求1至2中任意一項所述的視頻分類方法，其特征在于，所述獲取待分類視頻中每個關鍵幀的特征向量，包括：

使用預設圖像分類器分別對所述待分類視頻中每個關鍵幀進行特征提取，得到所述待分類視頻中每個關鍵幀的特征向量；或者，

獲取所述待分類視頻中每個關鍵幀的特征點，根據所述特征點獲取所述待分類視頻中每個關鍵幀的特征向量。

4.根據權利要求1至2中任意一項所述的視頻分類方法，其特征在于，所述獲取待分類視頻中每個關鍵幀的特征向量，包括：

根據預設規則從所述待分類視頻中提取關鍵幀；所述預設規則包括：時長、權重、間隔、點擊量中的一種；

獲取所述待分類視頻中每個關鍵幀的特征向量。

5.根據權利要求1至2中任意一項所述的視頻分類方法，其特征在于，獲取所述待分類視頻的文本分類向量，包括：

從所述待分類視頻中提取圖像幀；

識別所述圖像幀中的文字，得到所述圖像幀包含的文本；

對所述待分類視頻中所有的圖像幀包含的文本進行組合，再進行文本分類，得到所述待分類視頻的文本分類向量。

6.一種視頻分類裝置，其特征在于，包括：

特征獲取模塊，用于根據待分類視頻中關鍵幀，獲取待分類視頻中每個關鍵幀的特征向量；

視覺分類模塊，與所述特征獲取模塊相連，用于根據所述待分類視頻中每個關鍵幀的特征向量，獲取所述待分類視頻的視覺分類向量；

文本分類模塊，用于根據所述待分類視頻中圖像幀包含的文本，獲取所述待分類視頻的文本分類向量；

類別獲取模塊，分別與所述視覺分類模塊和所述文本分類模塊相連，用于將所述視覺分類向量和所述文本分類向量代入預設分類模型，獲取所述待分類視頻的類別；

所述視覺分類模塊，包括：

向量組合子模塊，用于將所述待分類視頻中所有關鍵幀的特征向量按行進行組合，得到特征圖；

向量融合子模塊，與所述向量組合子模塊相連，用于分別將所述特征圖中每列數據融合為一個數據，得到所述待分類視頻的視覺分類向量；

所述分別將所述特征圖中每列數據融合為一個數據，得到所述待分類視頻的視覺分類向量包括：

分別計算所述特征圖中每列數據的最大值，得到所述待分類視頻的視覺分類向量。

7.根據權利要求6所述視頻分類裝置，其特征在于，所述裝置還包括：

樣本獲取模塊，用于獲取多個視頻樣本，以及每個視頻樣本對應的視覺分類向量、文本分類向量和類別值；

訓練模塊，分別與所述樣本獲取模塊和所述類別獲取模塊相連，用于分別根據每個視頻樣本對應的視覺分類向量、文本分類向量和類別值對初始分類器進行訓練，得到所述分類模型。