[發明專利]一種自監督人體行為識別方法及系統

在審

• 申請號: 202210467622.X
• 申請日: 2022-04-29
• 公開（公告）號: CN114998779A
• 公開（公告）日: 2022-09-02
• 發明（設計）人: 田智強;鄭軍令;柳嘉樂;王博華
• 申請（專利權）人: 西安交通大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V40/20;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 李鵬威

本發明公開了一種自監督人體行為識別方法及系統，通過將采集的人體行為視頻數據拆分成圖片幀，提取每幀圖片中的人體姿態，將所需時長的圖片幀中的骨骼點的二維或者三維坐標數據按照時間順序堆疊在一起，形成人體骨骼點坐標序列數據，采用跨視圖一致性對提取到的特征進行視圖間信息的交叉融合，使用對比學習進行人體行為特征提取，學習過程中無需標簽信息，從而很好的解決了對比學習中提取的特征過擬合的問題，同時有效的減少了網絡的參數量。通過使用不同的時域跨度，解決相同動作由于不同動作主體可能造成的時長不同的問題。通過使用通道維度的注意力機制，有效的為不同的通道賦予不同的權值，最終能夠達到較高的識別準確率。

技術領域

本發明屬于人工智能領域，具體涉及一種自監督人體行為識別方法及系統。

背景技術

目前人體行為識別在工業生產環境、安防監控領域、異常行為告警等方向發揮著越來越重要的作用。人體行為識別技術能夠使得機器理解人類的動作行為，從而提早發現在工業生產環境中的違規操作、違法行為的監控和老人摔倒后的報警等，更好的在生產生活中滿足人類的需求。

人體行為識別算法廣泛應用于人機交互、智能監控、工業機器人等領域，是計算機視覺領域中的熱門研究方向。人體的行為數據可以分為RGB視頻數據和人體骨骼點數據。相比于RGB視頻數據，人體骨骼點數據具有高度抽象、不受環境干擾、計算量小等優點。圖卷積神經網絡由于其在處理人體骨骼數據之類的非歐幾里得數據上的獨特的優勢，因此廣泛應用于基于骨架數據的人體行為識別。

有監督的網絡雖然能夠達到很高的識別精度，但是其需要大量帶有標簽的數據，而對數據進行標簽是一項費時費力的工作。于是基于自監督的網絡進入人們的視線。對比學習是一種很好的自監督的網絡結構，通過兩個編碼器對同一樣本的不同旋轉平移得到不同的特征，并使用這兩個特征互為監督學習而不需要額外的標簽信息。與有監督方法不同的是，自監督的網絡并不需要很深，因為沒有可靠的標簽信息，過深的網絡會導致模型過擬合，使得同一個樣本之間的差異不斷減小，而和其他的樣本之間的差異越來越大，這其中包括同一類別的不同樣本，這顯然會對識別結果產生影響，然而現有的方法并沒有注意到這一問題。此外，相同的動作由于拍攝以及動作的主體不同，可能涉及的視頻幀數也不盡相同，這也是容易被忽視的一個問題。

發明內容

本發明的目的在于解決上述問題，提供一種自監督人體行為識別方法及系統，能夠解決基于對比學習的自監督人體行為識別中網絡過深，時序特征提取不到位的問題，從而達到減小模型參數，提高識別準確率的目的。

為了達到上述目的，本發明包括以下步驟：

一種自監督人體行為識別方法，包括以下步驟：

S1，將采集的人體行為視頻數據拆分成圖片幀；

S2，提取每幀圖片中的人體姿態，根據人體姿態形成人體骨骼點的二維或者三維坐標數據；

S3，將所需時長的圖片幀中的骨骼點的二維或者三維坐標數據按照時間順序堆疊在一起，形成人體骨骼點坐標序列數據；

S4，根據人體骨骼點坐標序列數據計算得到人體運動序列數據和人體骨架序列數據；

S5，分別對人體骨骼點坐標序列數據、人體運動序列數據和人體骨架序列數據進行特征提取；

S6，采用跨視圖一致性對提取到的特征進行視圖間信息的交叉融合，得到更新后的特征；

S7，采用無標記的骨骼點序列數據進行特征提取和交叉融合的迭代訓練，達到迭代要求后得到識別初步模型；

S8，使用線性評估方法對識別初步模型進行先行層訓練的人體識別模型，利用人體識別模型進行人體行為識別。

優選的，坐標序列生成模塊采用OpenPose工具對單幀圖片進行處理，提取出圖片中的人體姿態信息，得到人體的關鍵骨骼點坐標信息，并按照時間順序堆疊在一起，形成人體骨骼點坐標序列數據。