[發明專利]基于強化學習的行為識別視頻幀采樣方法及系統有效

申請號：	201910060129.4	申請日：	2019-01-22
公開（公告）號：	CN109800717B	公開（公告）日：	2021-02-02
發明（設計）人：	張兆翔;譚鐵牛;董文愷;張馳	申請（專利權）人：	中國科學院自動化研究所
主分類號：	G06K9/00	分類號：	G06K9/00
代理公司：	北京市恒有知識產權代理事務所(普通合伙) 11576	代理人：	郭文浩;黎慧華
地址：	100190 ***	國省代碼：	北京;11
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	基于強化學習行為識別視頻采樣方法系統
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【說明書】：

本發明涉及一種基于強化學習的行為識別視頻幀采樣方法及系統，所述行為識別視頻幀采樣方法包括：從待測試視頻提取待測視頻幀序列，并從待測視頻幀序列中均勻采樣T幀待測圖像；基于行為識別的基礎模型及各幀待測圖像，確定對應幀待測圖像的待測特征向量和待測行為預測；針對每幀待測圖像，將待測特征向量和待測行為預測級聯，得到待測狀態序列；根據基于長短時記憶網絡的智能體及待測狀態序列，確定每幀待測圖像的待測重要性得分；按照待測重要性得分的大小，從各幀待測圖像中選取多幀待測視頻的關鍵幀；根據各關鍵幀的待測行為預測，得到待測視頻的行為預測；根據待測視頻的行為預測，確定識別結果，從而降低無關幀帶來的負面影響，降低噪聲。

技術領域

本發明涉及計算機視覺和模式識別技術領域，特別涉及一種基于強化學習的行為識別視頻幀采樣方法及系統。

背景技術

由于深度學習在圖像識別領域取得的巨大成功，近年來，行為識別方法主要通過設計深度網絡來從大量有標簽的視頻數據中學習視頻的深度特征表達。

這些工作主要分為以下幾類：基于雙流模型的方法，基于循環神經網絡的方法，基于3D卷積神經網絡的方法以及他們之間的結合。在這些方法中，由于能夠高效的利用視頻信息，基于雙流模型的方法起到了最重要的推動作用。為了高效的對視頻中的行為進行識別，這些方法首先對視頻均勻地、稀疏地采樣，然后對采樣得到的每一幀進行識別，最后將所有幀的行為預測融合得到整個視頻的行為預測，輸出行為類別。

然而在一段視頻中，由于行為顯著性、圖像質量的原因，具有判別力的行為可能只稀疏地分布在視頻的少數幀中，并且其他的幀大多與行為無關，其引入的噪聲甚至可能導致行為識別的結果出現錯誤。

發明內容

為了解決現有技術中的上述問題，即為了準確確定關鍵幀，降低噪聲，本發明提供了一種基于強化學習的行為識別視頻幀采樣方法及系統。

為解決上述技術問題，本發明提供了如下方案：

一種基于強化學習的行為識別視頻幀采樣方法，所述行為識別視頻幀采樣方法包括：

從待測試視頻提取待測視頻幀序列，并從所述待測視頻幀序列中均勻采樣T幀待測圖像；

基于行為識別的基礎模型，根據各幀待測圖像，確定對應幀待測圖像的待測特征向量和待測行為預測；

針對每幀待測圖像，將所述待測特征向量和待測行為預測級聯，得到待測狀態序列；

根據基于長短時記憶網絡的智能體及所述待測狀態序列，確定每幀待測圖像的待測重要性得分；

按照待測重要性得分的大小，從各所述幀待測圖像中選取多幀待測視頻的關鍵幀；

根據各關鍵幀的待測行為預測，得到所述待測視頻的行為預測；

根據所述待測視頻的行為預測，確定識別結果。