[發明專利]視頻行為分割方法、裝置、計算機設備及介質

在審

• 申請號: 202110313073.6
• 申請日: 2018-05-10
• 公開（公告）號: CN112836687A
• 公開（公告）日: 2021-05-25
• 發明（設計）人: 宋波
• 申請（專利權）人: 北京影譜科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京萬思博知識產權代理有限公司 11694
• 代理人: 范曉斌

本申請公開了一種視頻行為分割方法、裝置、計算機設備及介質。該方法包括：基于視頻中相鄰的視頻幀之間的相關系數，將所述視頻分割成片段；對于所述片段中的視頻幀，識別該視頻幀的場景，得到場景特征向量；對于所述片段中的視頻幀，識別該視頻幀的局部行為特征，得到局部行為特征向量；基于所述場景特征向量和所述局部行為特征向量，識別所述視頻幀的行為類別和與該行為類別對應的置信度；基于所述片段的視頻幀的行為類別和置信度，確定該片段的行為類別；和將相鄰的行為類別相同的片段合并，得到所述視頻的分割結果。該方法能夠同時對雙路模型進行融合，綜合利用場景和局部行為兩個維度，對整體行為信息進行提取，從而快速地對視頻進行分割。

技術領域

本申請涉及圖像自動化處理領域，特別是涉及一種視頻行為分割方法、裝置、計算機設備及介質。

背景技術

視頻壓縮算法及應用的快速發展，帶來了海量的視頻數據。視頻中蘊含了豐富的信息，然而，由于視頻數據巨大，不像文字直接表示出了抽象概念，因此視頻信息的提取及結構化相對復雜。目前，視頻信息的提取方法主要是先對視頻進行分割，然后給分割后的每個片段分類打上標簽，是視頻信息提取及結構化的一種思路。基于傳統的計算機視覺對視頻進行分割，一般需要人工設計圖像特征，這樣設計的特征不能靈活的適應各種場景的變化。目前大部分實際可用的視頻分割僅僅根據每幀的顏色信息，經過各種傳統計算機視覺的變換，檢測相鄰兩幀的變化，從而確定視頻分割點，然后繼續利用機器學習中的聚類算法，對分割好的相鄰的視頻片段進行聚合，相似類別的會歸為一類。然而，上述這些方法只能完成粗淺的分割，并且不能識別出視頻中每個片段的語義。

發明內容

本申請的目的在于克服上述問題或者至少部分地解決或緩減解決上述問題。

根據本申請的一個方面，提供了一種視頻分割方法，包括：

片段分割步驟：基于視頻中相鄰的視頻幀之間的相關系數，將所述視頻分割成片段；

場景識別步驟：對于所述片段中的視頻幀，識別該視頻幀的場景，得到場景特征向量；

局部行為特征識別步驟：對于所述片段中的視頻幀，識別該視頻幀的局部行為特征，得到局部行為特征向量；

視頻幀行為類別判斷步驟：基于所述場景特征向量和所述局部行為特征向量，識別所述視頻幀的行為類別和與該行為類別對應的置信度；

片段行為類別確定步驟：基于所述片段的視頻幀的行為類別和置信度，確定該片段的行為類別；

片段合并步驟：將相鄰的行為類別相同的片段合并，得到所述視頻的分割結果。

該方法能夠同時對雙路模型進行融合，綜合利用場景和局部行為兩個維度，對整體行為信息進行提取，從而快速地對視頻進行分割。

可選地，所述片段分割步驟包括：

直方圖計算步驟：計算所述視頻的每一個視頻幀的YCbCr直方圖；

相關系數計算步驟：計算該視頻幀的YCbCr直方圖與前一個視頻幀的YCbCr直方圖的相關系數；

閾值比較步驟：在所述相關系數小于預定的第一閾值時，將該視頻幀作為新的片段的起始幀。

可選地，所述場景識別步驟包括：

分辨率轉化步驟：將所述視頻幀的RGB通道分別轉化為固定尺寸的分辨率；和

場景特征向量生成步驟：將經過分辨率轉化后的視頻幀輸入到第一網絡模型中，得到該視頻幀的場景特征向量，其中，所述第一網絡模型為：去掉最后一層全連接層和Softmax分類器的VGG16網絡模型。

可選地，所述局部行為特征識別步驟包括：

最短邊長固定步驟：將所述視頻幀的RGB通道分別轉化為最短邊長固定的分辨率；和