[發明專利]一種第一視角視頻行為預測系統及方法

在審

• 申請號: 202011059356.4
• 申請日: 2020-09-30
• 公開（公告）號: CN112183391A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 蔣樹強;張天予;閔巍慶
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06F40/216;G06F40/284;G06N3/04;G06N5/04
• 代理公司: 北京泛華偉業知識產權代理有限公司 11280
• 代理人: 王勇

1.一種第一視角視頻行為預測系統，用于根據已有的視頻進行行為預測，其特征在于，所述系統包括：

視覺特征提取模塊，用于提取已有視頻中的視覺特征；

基于直覺的預測模塊，用于根據視覺特征提取模塊提取到的視覺特征進行基于視覺的預測，得到第一預測結果；

基于分析推理的預測模塊，用于根據視覺特征提取模塊提取到的視覺特征進行基于分析推理的預測，得到第二預測結果；

自適應融合模塊，用于采用注意力機制將將第一預測結果和第二預測結果進行有機融合，得到最終的行為預測結果。

2.根據權利要求1所述的一種第一視角視頻行為預測系統，其特征在于，所述視覺特征提取模塊包括卷積神經網絡。

3.根據權利要求1所述的一種第一視角視頻行為預測系統，其特征在于，所述基于直覺的預測模塊包括：

編碼器，用于根據視覺特征產生關于過去信息的抽象表示對應的中間變量；

解碼器，用于根據長短時記憶編碼器產生的中間變量進行信息讀取以輸出關于未來行為的未來信息；

分類器，用于將解碼器輸出的未來信息映射到一個行為類別，得到第一預測結果。

4.根據權利要求3所述的一種第一視角視頻行為預測系統，其特征在于，

所述編碼器為長短時記憶編碼器，所述解碼器為長短時記憶解碼器，所述分類器為全連接分類器。

5.根據權利要求1所述的一種第一視角視頻行為預測系統，其特征在于，所述基于分析推理的預測模塊包括：

識別模塊，用于識別視覺特征中的動詞和名詞；

轉移模塊，用于將識別模塊識別到的視覺特征中的動詞和名詞分別根據條件概率轉移到下一個狀態；

結合模塊，用于將轉移模塊轉移的動詞和名詞的下一個狀態組合成新的行為，獲得第二預測結果。

6.根據權利要求5所述的一種第一視角視頻行為預測系統，其特征在于，

所述識別模塊配置為全連接分類器；

所述轉移模塊配置為馬爾可夫轉移矩陣；

所述結合模塊采用先驗知識策略。

7.根據權利要求1所述的一種第一視角視頻行為預測系統，其特征在于，所述自適應融合模塊包括：全連接網絡，用于對第一預測結果和第二預測結果進行分析，分別得到第一預測結果的歸一化加權系數和第二預測結果的歸一化加權系數；

所述自適應融合模塊根據第一預測結果和第二預測結果分別與其對應歸一化加權系數的乘積求和得到最終的行為預測結果。