[發明專利]視頻分類方法、裝置和計算機可讀存儲介質

在審

• 申請號: 201711084116.8
• 申請日: 2017-11-07
• 公開（公告）號: CN109753984A
• 公開（公告）日: 2019-05-14
• 發明（設計）人: 張立成
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/00
• 代理公司: 中國國際貿易促進委員會專利商標事務所 11038
• 代理人: 王莉莉

本公開涉及了一種視頻分類方法、裝置和計算機可讀存儲介質，涉及數據處理技術領域。該方法包括：從待分類的視頻中提取多幀RGB圖像，根據相鄰幀的RGB圖像得到多幀光流圖像；根據當前幀RGB圖像及其前一幀RGB圖像，依次通過卷積神經網絡和循環神經網絡，獲取視頻的第一分類概率向量，第一分類概率向量中的各元素代表基于RGB圖像視頻屬于各分類的概率；根據當前幀光流圖像及其前一幀光流圖像，依次通過卷積神經網絡和循環神經網絡，獲取視頻的第二分類概率向量，第二分類概率向量中的各元素代表基于光流圖像視頻屬于各分類的概率；根據第一分類概率向量和第二分類概率向量確定所述視頻的分類。該方法和裝置能夠提高視頻分類的準確性。

技術領域

本公開涉及數據處理技術領域，特別涉及一種視頻分類方法、裝置和計算機可讀存儲介質。

背景技術

隨著數字存儲技術、視頻數據庫技術的發展，多媒體信息日益豐富。為了有效地利用這些多媒體信息，需要對多媒體信息進行自動的組織、索引以方便多媒體數據的檢索。視頻內容的分類是歸納、理解、檢索視頻數據的一個重要環節。視頻分類技術利用圖像處理、視頻處理的方法對視頻進行分析，從而判斷視頻中個體的行為，例如，各種球類運動、日常活動等。

相關技術主要采用卷積神經網絡，如AlexNet、GoogleNet等，對視頻中的幀圖像進行處理，從而實現視頻分類。

發明內容

本公開的發明人發現上述相關技術中存在如下問題：作為處理對象的圖像以及作為處理手段的神經網絡類型單一，無法全面地表征視頻中的個體行為，從而導致視頻分類的準確率不高。針對上述技術問題，本公開提出了一種高準確率的視頻分類技術方案。

根據本公開的一些實施例，提供了一種視頻分類方法，包括：從待分類的視頻中提取多幀RGB圖像，根據相鄰幀的RGB圖像得到多幀光流圖像；對于所述視頻的每幀RGB圖像，根據當前幀RGB圖像及其前一幀RGB圖像，依次通過卷積神經網絡和循環神經網絡，獲取所述視頻的第一分類概率向量，所述第一分類概率向量中的各元素代表基于RGB圖像所述視頻屬于各分類的概率；對于所述視頻的每幀光流圖像，根據當前幀光流圖像及其前一幀光流圖像，依次通過卷積神經網絡和循環神經網絡，獲取所述視頻的第二分類概率向量，所述第二分類概率向量中的各元素代表基于光流圖像所述視頻屬于各分類的概率；根據所述第一分類概率向量和所述第二分類概率向量確定所述視頻的分類。

可選地，根據所述視頻的當前幀RGB圖像及其前一幀RGB圖像，依次通過卷積神經網絡和循環神經網絡，來獲取所述當前幀RGB圖像的循環特征向量；根據所述當前幀RGB圖像的循環征向量獲取所述當前幀RGB圖像的第一分類概率向量；根據所述當前幀RGB圖像的第一分類概率向量獲取所述視頻的第一分類概率向量。

可選地，通過卷積神經網絡獲取當前幀RGB圖像的卷積特征向量；將所述當前幀RGB圖像的卷積特征向量及其前一幀RGB圖像的循環特征向量輸入循環神經網絡，以獲取所述當前幀RGB圖像的循環特征向量。

可選地，將所述當前幀RGB圖像的循環特征向量輸入預設的全連接層，獲得所述當前幀RGB圖像的第一分類概率向量；計算所有RGB圖像的第一分類概率向量的平均值，以獲取所述視頻的第一分類概率向量。

可選地，根據所述視頻的當前幀光流圖像及其前一幀光流圖像，依次通過卷積神經網絡和循環神經網絡，來獲取所述當前幀光流圖像的循環特征向量；根據所述當前幀光流圖像的循環特征向量獲取所述當前幀光流圖像的第二分類概率向量，根據所述當前幀光流圖像的第二分類概率向量獲取所述視頻的第二分類概率向量。

可選地，通過卷積神經網絡獲取當前幀光流圖像的卷積特征向量；將所述當前幀光流圖像的卷積特征向量及其前一幀光流圖像的循環特征向量輸入循環神經網絡，以獲取所述當前幀光流圖像的循環特征向量。