[發明專利]一種自適應時序移位神經網絡時序行為識別方法

有效

• 申請號: 202010419814.4
• 申請日: 2020-05-18
• 公開（公告）號: CN111340011B
• 公開（公告）日: 2020-09-11
• 發明（設計）人: 張一帆;程科;盧漢清
• 申請（專利權）人: 中國科學院自動化研究所南京人工智能芯片創新研究院;中國科學院自動化研究所
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京泰普專利代理事務所(普通合伙) 32360
• 代理人: 竇賢宇

本發明提出了一種自適應時序移位神經網絡時序行為識別方法，首先采集多個時間點的特征并建模；接著引入自適應時序移位神經網絡學習每一層網絡所需的感受野；最后訓練可學習的移位變量，對骨骼點數據進行修正。本發明能夠自適應的學習每一層網絡所需的感受野，并且能夠自適應的學習每種數據集所需的感受野。自適應時序移位神經網絡能夠針對不同的數據學習出不同的時間移位向量，從而自適應的適應不同的數據分布。通過本發明提出的時序行為識別方法，能夠在提高行為檢測精度的同時節省計算資源，這種自適應的學習比普通時間卷積的手工調參更加優越。

技術領域

本發明涉及一種自適應時序移位神經網絡時序行為識別方法，涉及一般的圖像數據處理或產生G06T領域，尤其涉及G06T 7/20運動分析領域。

背景技術

隨著人工智能的發展，對人體行為進行識別受到越來越多的關注。對人體行為進行識別可以應用在安防、人機交互等領域。

行為識別的研究中，一個熱點問題就是如何進行時序行為識別。所謂時序行為，指的是無法通過單幀圖像來判斷，需要通過觀察一個時序動作來判斷的行為。例如站起來和坐下去，這兩個行為就難以通過單幀圖像來區分，只有觀察一個時序片段才能區分。即使是一些和時序先后順序不那么強的行為（如拍手，握手等），在引入時序建模之后往往也會有精度的提升。

現有的用于時序移位方法是通過一個時序移位模塊來對不同時間點的特征進行建模，對于時序卷積和時序移位方法，其感受野的大小是人為指定的，而這種人為指定的感受野并不適合時序行為識別任務；在時序行為識別中，不同數據庫需要不同的感受野，這就導致不同數據庫上需要進行大量的調參實驗。

發明內容

發明目的：一個目的是提出一種自適應時序移位神經網絡時序行為識別方法，以解決現有技術存在的上述問題。進一步目的是提出一種實現上述方法的系統。

技術方案：一種自適應時序移位神經網絡時序行為識別方法，包括以下步驟：

步驟1、采集多個時間點的特征并建模；

步驟2、引入自適應時序移位神經網絡學習每一層網絡所需的感受野。

在進一步的實施例中，所述步驟1進一步包括：建立一個時序移位模型，模型包含時間T和特征通道數C兩個維度，特征通道C被分為多份，其中一份向上一時刻移位，另一份向下一時刻移位，其余份不進行移位，經過移位后，新的特征通過線性插值來獲得，如下：

式中，；，其中T為時序維度，C是特征通道數，N是與時序無關的其他維度；表示自適應時序移位神經網絡中可學習的移位變量，其中i=1,2,3…C，即i的個數與特征通道數一致；v表示移位速率，表示當前時刻，表示特征通道C其中的一份向上一時刻移位，表示特征通道C其中的另一份向下一時刻移位，表示通過線性插值獲得的新的特征。

在進一步的實施例中，步驟1中：

利用卷積神經網絡預先提取視頻序列的視覺特征，對于視頻數據的每一幀圖像，將其轉化為RGB分布圖，并生成對應的光流圖：

首先將每1幀圖像上的每一像素點取坐標點，將坐標點轉化為光流，計算出光流約束方程：