[發明專利]基于四元數時空卷積神經網絡的人體行為識別方法

有效

• 申請號: 201710471157.6
• 申請日: 2017-06-20
• 公開（公告）號: CN107341452B
• 公開（公告）日: 2020-07-14
• 發明（設計）人: 孟勃;劉雪君;王曉霖
• 申請（專利權）人: 東北電力大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/08
• 代理公司: 北京金智普華知識產權代理有限公司 11401
• 代理人: 皋吉甫

本發明屬于計算機視覺領域，具體涉及一種基于四元數時空卷積神經的人體行為識別方法。本發明具體實現步驟如下：（1）輸入待識別的動作視頻集；（2）圖像預處理，提取人體運動的關鍵區域圖像；（3）構建四元數時空卷積神經網絡；（4）采用BP算法訓練網絡，輸出訓練結果；（5）輸入視頻測試集，輸出測試結果。本發明利用碼本模型提取人體運動區域圖像，能夠在復雜背景的情況下，檢測出人體的運動。本發明的四元數時空卷積神經網絡直接將彩色圖像作為輸入，解決了傳統卷積神經網絡將彩色圖像轉換為灰度圖像或分通道處理過程中圖像特征缺失的問題，提高了網絡特征提取的性能，使得對人體行為的識別更加準確。

技術領域

本發明屬于計算機視覺領域，更進一步涉及目標識別中基于四元數時空卷積神經網絡的人體行為識別方法，本發明可用于人機交互、智能監控等應用中。

背景技術

人體行為識別是計算機視覺、模式識別、圖像處理以及人工智能等多學科交叉的一個重要研究方向，它在人機交互、智能監控和醫療領域均有著巨大的應用價值和理論意義。它主要針對包含人的運動圖像序列進行分析處理，特征提取，運動分類，實現識別和理解人的個體動作、人與人之間的以及人與外界環境之間的交互行為。

相對基于靜止圖像的目標分類，人體行為識別是一個復雜的動態過程，它不僅包含視頻中單幀圖像的空間特征，還包含多幀之間的時間特征。所以，有效提取視頻中人體的行為特征是非常具有挑戰性的課題。近年來，人體行為方法主要分為兩類：基于人工特征提取的人體行為識別和基于深度學習的人體行為識別。基于人工特征提取的人體行為識別方法的步驟為特征提取、特征表達和動作分類，其中人工提取的特征包含光流直方圖、梯度直方圖和時空興趣點等。然而，這種方法對于不同視頻數據集需要提取不同的特征，計算復雜度高，在現實環境下的應用存在局限性。

有人提出了基于深度學習的人體行為識別方法。這種方法是通過逐層參數訓練的方式自動提取原始圖像中的特征，從而獲得能夠區分不同動作的多種高層抽象表達。卷積神經網絡是人體行為識別中應用最廣泛、最有效的深度學習算法之一。傳統的卷積神經網絡已經被擴展到時空卷積神經網絡，它不僅能夠提取單幀的空間特征，還能提取近鄰幀的時間特征。然而，目前的卷積神經網絡模型只是針對灰度圖像序列或RGB三通道分別處理的，沒有考慮三通道的相關性和整體性，破壞了真實環境的顏色特征，影響識別方法在實際環境中的魯棒性。

發明內容

針對上述問題，本發明提出一種基于四元數時空卷積神經網絡的人體行為識別方法。與現有技術中其他基于卷積神經網絡的人體動作識別方法相比，本發明將彩色圖像序列直接作為網絡的輸入，在空間卷積層將R、G、B三個通道作為一個整體進行卷積操作，保證了它們的相互聯系，并在時間卷積層提取連續幀間的動態信息，使得提取的特征信息更加豐富，識別率更高。

為實現上述目的，本發明采用以下方案：

一種基于四元數時空卷積神經網絡的人體行為識別方法，所述方法具體為：

(1)構建四元數時空卷積神經網絡；

(2)將包含多種人體動作的F組彩色圖像表示為四元數的形式，將其中f組彩色圖像作為訓練集，將訓練集作為訓練樣本輸入所述四元數時空卷積神經網絡，并利用BP算法訓練訓練集樣本，得到訓練好的四元數時空卷積神經網絡；

(3)將其他F-f組彩色圖像作為樣本輸入訓練好的四元數時空卷積神經網絡，利用訓練好的四元數時空卷積神經網絡將彩色圖像分類，實現人體行為識別；

所述四元數時空卷積神經網絡包括空間卷積層、時間卷積層、下采樣層、全連接層、長短時記憶單元和分類器；樣本經空間卷積層、時間卷積層、下采樣層循環P次得到樣本的特征圖序列，全連接層將序列中每一個特征圖都拉伸成一個特征向量，長短時記憶單元將特征向量輸送至分類器，分類器依據特征向量將樣本分類；

所述四元數時空卷積神經網絡包括3P+1層結構；

F、f、P均為自然數。