[發明專利]視頻行為分割方法、裝置、計算機設備及介質

在審

• 申請號: 202110313073.6
• 申請日: 2018-05-10
• 公開（公告）號: CN112836687A
• 公開（公告）日: 2021-05-25
• 發明（設計）人: 宋波
• 申請（專利權）人: 北京影譜科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京萬思博知識產權代理有限公司 11694
• 代理人: 范曉斌

1.一種視頻分割方法，包括：

片段分割步驟：基于視頻中相鄰的視頻幀之間的相關系數，將所述視頻分割成片段，所述片段分割步驟包括：

直方圖計算步驟：計算所述視頻的每一個視頻幀的YCbCr直方圖，

相關系數計算步驟：計算該視頻幀的YCbCr直方圖與前一個視頻幀的YCbCr直方圖的相關系數，

閾值比較步驟：在所述相關系數小于預定的第一閾值時，將該視頻幀作為新的片段的起始幀；

場景識別步驟：對于所述片段中的視頻幀，將所述視頻幀的RGB通道分別轉化為固定尺寸的分辨率，將經過分辨率轉化后的視頻幀輸入到第一網絡模型中，得到該視頻幀的場景特征向量，其中，所述第一網絡模型為：去掉最后一層全連接層和Softmax分類器的VGG16網絡模型；

局部行為特征識別步驟：將所述視頻幀的RGB通道分別轉化為最短邊長固定的分辨率，將最短邊長固定的視頻幀輸入到第一網絡模型中，將所述第一網絡模型的輸出結果輸入到基于區域的卷積神經網絡模型中，利用所述基于區域的卷積神經網絡的輸出結果計算最優檢測類別結果，將所述最優檢測類別結果經過感興趣區域池化層得到局部行為特征向量；

視頻幀行為類別判斷步驟：基于所述場景特征向量和所述局部行為特征向量，識別所述視頻幀的行為類別和與該行為類別對應的置信度；

片段行為類別確定步驟：基于所述片段的視頻幀的行為類別和置信度，確定該片段的行為類別，所述片段行為類別確定步驟包括：在行為類別相同的視頻幀數量與所述片段的視頻幀總數量的比值大于預定的第二閾值的情況下，將該行為類別作為該片段的行為類別；

片段合并步驟：將相鄰的行為類別相同的片段合并，得到所述視頻的分割結果。

2.一種視頻分割裝置，包括：

片段分割模塊，其配置成用于基于視頻中相鄰的視頻幀之間的相關系數，將所述視頻分割成片段，所述片段分割模塊包括：

直方圖計算模塊，其配置成用于計算所述視頻的每一個視頻幀的YCbCr直方圖，

相關系數計算模塊，其配置成用于計算該視頻幀的YCbCr直方圖與前一個視頻幀的YCbCr直方圖的相關系數，和

閾值比較模塊，其配置成用于在所述相關系數小于預定的第一閾值時，將該視頻幀作為新的片段的起始幀；

場景識別模塊，其配置成用于對于所述片段中的視頻幀，將所述視頻幀的RGB通道分別轉化為固定尺寸的分辨率，將經過分辨率轉化后的視頻幀輸入到第一網絡模型中，得到該視頻幀的場景特征向量，其中，所述第一網絡模型為：去掉最后一層全連接層和Softmax分類器的VGG16網絡模型；

局部行為特征識別模塊，其配置成用于將所述視頻幀的RGB通道分別轉化為最短邊長固定的分辨率，將最短邊長固定的視頻幀輸入到第一網絡模型中，將所述第一網絡模型的輸出結果輸入到基于區域的卷積神經網絡模型中，利用所述基于區域的卷積神經網絡的輸出結果計算最優檢測類別結果，將所述最優檢測類別結果經過感興趣區域池化層得到局部行為特征向量；

視頻幀行為類別判斷模塊，其配置成用于基于所述場景特征向量和所述局部行為特征向量，識別所述視頻幀的行為類別和與該行為類別對應的置信度；

片段行為類別確定模塊，其配置成用于基于所述片段的視頻幀的行為類別和置信度，確定該片段的行為類別，所述片段行為類別確定模塊在行為類別相同的視頻幀數量與所述片段的視頻幀總數量的比值大于預定的第二閾值的情況下，將該行為類別作為該片段的行為類別；和

片段合并模塊，其配置成用于將相鄰的行為類別相同的片段合并，得到所述視頻的分割結果。

3.一種計算機設備，包括存儲器、處理器和存儲在所述存儲器內并能由所述處理器運行的計算機程序，其中，所述處理器執行所述計算機程序時實現如權利要求1所述的方法。

4.一種計算機可讀存儲介質，其內存儲有計算機程序，所述計算機程序在由處理器執行時實現如權利要求1所述的方法。