[發(fā)明專利]基于強(qiáng)化學(xué)習(xí)的行為識別視頻幀采樣方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201910060129.4
• 申請日: 2019-01-22
• 公開（公告）號: CN109800717B
• 公開（公告）日: 2021-02-02
• 發(fā)明（設(shè)計(jì)）人: 張兆翔;譚鐵牛;董文愷;張馳
• 申請（專利權(quán)）人: 中國科學(xué)院自動化研究所
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京市恒有知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11576
• 代理人: 郭文浩;黎慧華

1.一種基于強(qiáng)化學(xué)習(xí)的行為識別視頻幀采樣方法，其特征在于，所述行為識別視頻幀采樣方法包括：

從待測試視頻提取待測視頻幀序列，并從所述待測視頻幀序列中均勻采樣T幀待測圖像；

基于行為識別的基礎(chǔ)模型，根據(jù)各幀待測圖像，確定對應(yīng)幀待測圖像的待測特征向量和待測行為預(yù)測；

針對每幀待測圖像，將所述待測特征向量和待測行為預(yù)測級聯(lián)，得到待測狀態(tài)序列；

根據(jù)基于長短時(shí)記憶網(wǎng)絡(luò)的智能體及所述待測狀態(tài)序列，確定每幀待測圖像的待測重要性得分；

所述基于長短時(shí)記憶網(wǎng)絡(luò)的智能體通過策略梯度進(jìn)行訓(xùn)練得到，其方法為：從訓(xùn)練集中提取任意訓(xùn)練視頻，并從所述訓(xùn)練視頻中均勻采樣T幀訓(xùn)練圖像；

基于行為識別的基礎(chǔ)模型，根據(jù)各幀訓(xùn)練圖像，確定對應(yīng)幀訓(xùn)練圖像的訓(xùn)練特征向量和訓(xùn)練行為預(yù)測，計(jì)算所有訓(xùn)練圖像的訓(xùn)練行為預(yù)測取平均值得到視頻的初始行為預(yù)測p⁰：

其中，為第t幀訓(xùn)練圖像的訓(xùn)練行為預(yù)測，K^C表示是一個(gè)C維特征向量,C為數(shù)據(jù)集的行為類別總數(shù)，T表示訓(xùn)練圖像的幀數(shù)；

針對每幀訓(xùn)練圖像，將所述訓(xùn)練特征向量與訓(xùn)練行為預(yù)測級聯(lián)，組成訓(xùn)練狀態(tài)序列；

根據(jù)所述訓(xùn)練狀態(tài)序列及基于深度神經(jīng)網(wǎng)絡(luò)的智能體，確定該訓(xùn)練圖像的動作的概率分布，基于深度神經(jīng)網(wǎng)絡(luò)的智能體對每幀訓(xùn)練圖像的采用的動作有兩種：丟棄和保留；

根據(jù)該訓(xùn)練圖像的動作的概率分布進(jìn)行采樣，組成動作序列，對動作的采樣過程可以形式化為：

其中，a_t∈{0,1}為基于深度神經(jīng)網(wǎng)絡(luò)的智能體對第t幀采取的動作，0表示丟棄動作，1表示保留動作；為基于深度神經(jīng)網(wǎng)絡(luò)的智能體對第t幀采取保留動作的概率，Bernoulli表示伯努利分布函數(shù)；

根據(jù)動作序列挑選關(guān)鍵幀，并將關(guān)鍵幀的行為預(yù)測取平均值得到新行為預(yù)測：

根據(jù)所述初始行為預(yù)測和新行為預(yù)測，計(jì)算智能體獲得的獎勵；

根據(jù)各訓(xùn)練圖像的動作序列和獎勵，計(jì)算目標(biāo)函數(shù)和基于深度神經(jīng)網(wǎng)絡(luò)的智能體參數(shù)的梯度，并更新基于深度神經(jīng)網(wǎng)絡(luò)的智能體的參數(shù)；

重復(fù)根據(jù)所述基于深度神經(jīng)網(wǎng)絡(luò)的智能體的參數(shù)，直至所述基于深度神經(jīng)網(wǎng)絡(luò)的智能體所獲得的期望獎勵最大或達(dá)到迭代次數(shù)，以得到所述基于長短時(shí)記憶網(wǎng)絡(luò)的智能體；

按照待測重要性得分的大小，從各所述幀待測圖像中選取多幀待測視頻的關(guān)鍵幀；

根據(jù)各關(guān)鍵幀的待測行為預(yù)測，得到所述待測視頻的行為預(yù)測；

根據(jù)所述待測視頻的行為預(yù)測，確定識別結(jié)果。

2.根據(jù)權(quán)利要求1所述的基于強(qiáng)化學(xué)習(xí)的行為識別視頻幀采樣方法，其特征在于，所述根據(jù)所述初始行為預(yù)測和新行為預(yù)測，計(jì)算智能體獲得的獎勵，具體包括：

若初始視頻行為預(yù)測p⁰和新視頻行為預(yù)測p¹對視頻中行為類別判斷相同，則獎勵其中，和分別為p⁰和p¹的第c維，c為視頻的正確標(biāo)簽，sgn表示符號函數(shù)；

若兩次預(yù)測對視頻行為類別的判斷不同，且如果初始判斷是錯誤的，智能體執(zhí)行動作后，判斷是正確的，則智能體獲得獎勵R＝10；反之，智能體獲得懲罰R＝-10。