[發明專利]視頻分類方法、裝置和計算機可讀存儲介質

在審

• 申請號: 201711084116.8
• 申請日: 2017-11-07
• 公開（公告）號: CN109753984A
• 公開（公告）日: 2019-05-14
• 發明（設計）人: 張立成
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/00
• 代理公司: 中國國際貿易促進委員會專利商標事務所 11038
• 代理人: 王莉莉

1.一種視頻分類方法，包括：

從待分類的視頻中提取多幀RGB圖像，根據相鄰幀的RGB圖像得到多幀光流圖像；

對于所述視頻的每幀RGB圖像，根據當前幀RGB圖像及其前一幀RGB圖像，依次通過卷積神經網絡和循環神經網絡，獲取所述視頻的第一分類概率向量，所述第一分類概率向量中的各元素代表基于RGB圖像所述視頻屬于各分類的概率；

對于所述視頻的每幀光流圖像，根據當前幀光流圖像及其前一幀光流圖像，依次通過卷積神經網絡和循環神經網絡，獲取所述視頻的第二分類概率向量，所述第二分類概率向量中的各元素代表基于光流圖像所述視頻屬于各分類的概率；

根據所述第一分類概率向量和所述第二分類概率向量確定所述視頻的分類。

2.根據權利要求1所述的視頻分類方法，其中，獲取所述視頻的第一分類概率向量包括：

根據所述視頻的當前幀RGB圖像及其前一幀RGB圖像，依次通過卷積神經網絡和循環神經網絡，來獲取所述當前幀RGB圖像的循環特征向量；

根據所述當前幀RGB圖像的循環征向量獲取所述當前幀RGB圖像的第一分類概率向量；

根據所述當前幀RGB圖像的第一分類概率向量獲取所述視頻的第一分類概率向量。

3.根據權利要求2所述的視頻分類方法，其中，獲取所述當前幀RGB圖像的循環特征向量包括：

通過卷積神經網絡獲取當前幀RGB圖像的卷積特征向量；

將所述當前幀RGB圖像的卷積特征向量及其前一幀RGB圖像的循環特征向量輸入循環神經網絡，以獲取所述當前幀RGB圖像的循環特征向量。

4.根據權利要求2所述的視頻分類方法，其中，獲取所述視頻的第一分類概率向量包括：

將所述當前幀RGB圖像的循環特征向量輸入預設的全連接層，獲得所述當前幀RGB圖像的第一分類概率向量；

計算所有RGB圖像的第一分類概率向量的平均值，以獲取所述視頻的第一分類概率向量。

5.根據權利要求1所述的視頻分類方法，其中，獲取所述視頻的第二分類概率向量包括：

根據所述視頻的當前幀光流圖像及其前一幀光流圖像，依次通過卷積神經網絡和循環神經網絡，來獲取所述當前幀光流圖像的循環特征向量；

根據所述當前幀光流圖像的循環特征向量獲取所述當前幀光流圖像的第二分類概率向量，根據所述當前幀光流圖像的第二分類概率向量獲取所述視頻的第二分類概率向量。

6.根據權利要求5所述的視頻分類方法，其中，獲取所述當前幀光流圖像的循環特征向量包括：

通過卷積神經網絡獲取當前幀光流圖像的卷積特征向量；

將所述當前幀光流圖像的卷積特征向量及其前一幀光流圖像的循環特征向量輸入循環神經網絡，以獲取所述當前幀光流圖像的循環特征向量。

7.根據權利要求5所述的視頻分類方法，其中，獲取所述視頻的第二分類概率向量包括：

將所述當前幀光流圖像的循環特征向量輸入預設的全連接層，獲得所述當前幀光流圖像的第二分類概率向量；

計算所有光流圖像的第二分類概率向量的平均值，以獲取所述視頻的第二分類概率向量。

8.根據權利要求1所述的視頻分類方法，其中，確定所述視頻的分類包括：

計算所述第一分類概率向量和所述第二分類概率向量的平均值，以獲得所述視頻的第三分類概率向量；

將所述第三分類概率向量中值最大的元素對應的分類確定為所述視頻的分類。

9.根據權利要求1-8任一項所述的視頻分類方法，其中，

所述卷積神經網絡為ResNet-101，所述循環神經網絡為長短期記憶網絡LSTM。