[發明專利]一種基于Transformer網絡的多人行為識別方法

在審

• 申請號: 202110312085.7
• 申請日: 2021-03-24
• 公開（公告）號: CN113033657A
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 曹菁菁;儲潔;郭富康
• 申請（專利權）人: 武漢理工大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G08B21/04
• 代理公司: 武漢開元知識產權代理有限公司 42104
• 代理人: 潘杰

本發明公開了一種基于Transformer網絡的多人行為識別方法，包括：采集環境傳感器數據集，基于時間序列的傳感器數據作為輸入進入到模型中，通過固定大小的滑動窗口進行采樣；采樣得到的事件被嵌入到初始向量中，然后添加位置編碼以表示該事件在序列中的順序，之后，向量進入Transformer網絡的Encoder編碼器；應用頂部全連接層對用戶和活動的標簽進行分類。本發明使用端到端的方法，避免了傳統機器學習方法需要手工制作特征以及區分訓練集測試集的過程。本發明用時間注意力機制使網絡更關注對行為識別貢獻最大的關鍵幀，能夠有效解決深度神經網絡自動提取特征時賦予時序數據同等重要性的問題。

技術領域

本發明屬于人體行為識別領域，更具體地，涉及一種基于Transformer網絡中Encoder技術的多人行為識別方法，主要針對環境傳感器數據進行人體行為識別。

背景技術

近年來，人體行為識別受到了廣泛的關注。準確高效的人體行為識別對人機交互、家庭安全監控等方面起著重要作用。人體行為識別可以在檢測老年人的行為活動、識別潛在的安全隱患和身體退化等方面做出貢獻。作為智能家居的基礎，人體行為識別需要基于傳感器獲得的數據進行。與視頻傳感器和穿戴傳感器相比，環境傳感器安裝在地板、門窗或電器設備上，減少采集數據過程可能對居民活動造成的不便，應用更加廣泛。目前基于環境傳感器數據的人體行為識別技術的研究面臨著以下問題：

1.多人行為識別困難：目前研究多集中于對單個居民行為識別，然而，在房間中總是有多個具有不同行為習慣的居住者，存在并行活動或合作活動，這給活動識別帶來了復雜的挑戰。

2.傳統機器學習方法識別效率低：機器學習方法需要使用手工制作的統計特征和頻率特征來表示原始傳感器流的片段，并以此訓練機器學習模型對居民和活動進行分類。該方法的有效性在很大程度上取決于手工特征的有效性。

3.神經網絡不適合處理二進制數據：隨著深度學習領域的研究，CNN逐漸被應用到人體行為識別中，但其主要用于處理連續信號數據，對二進制環境傳感器數據缺乏適應性。

發明內容：

為了克服上述背景技術的缺陷，本發明提供一種基于Transformer網絡的多人行為識別方法，用于解決根據環境傳感器收集到的數據同時完成對多用戶和對應活動的識別的問題。

為了解決上述技術問題本發明所采用的技術方案為：

一種基于Transformer網絡的多人行為識別方法，包括：

步驟1，采集環境傳感器數據集，基于時間序列的傳感器數據作為輸入進入到模型中，通過固定大小的滑動窗口進行采樣；

步驟2，采樣得到的事件被嵌入到初始向量中，然后添加位置編碼以表示該事件在序列中的順序，之后，向量進入Transformer網絡的Encoder編碼器；

步驟3，應用頂部全連接層對用戶和活動的標簽進行分類。

較佳地，步驟1的具體方法包括：

步驟1.1，在被測空間區域中布置環境傳感器，收集用戶行為數據；

步驟1.2，收集到的環境傳感器數據以ON或OFF表示，ON代表傳感器被觸發，OFF代表傳感器未被觸發；

步驟1.3，篩選原始數據，去除屬性為OFF的數據，保留屬性為ON的數據，將每一個ON數據作為一個事件，將篩選后的ON數據按時間順序排列形成時序數據；

步驟1.4，切分步驟1.3所得的時序數據，獲得數據切片樣本。

較佳地，步驟1.4的具體方法包括：篩選后的各個屬性為ON的數據按時間順序排列，形成一組時序數據；在時序數據上使用一個預先設定的固定大小的滑動窗口獲取原始信息，滑動窗口采集的結果作為數據切片樣本。