[發明專利]基于原子性動作時序特性的摔倒行為識別系統及方法

有效

• 申請號: 202010740679.3
• 申請日: 2020-07-29
• 公開（公告）號: CN111626273B
• 公開（公告）日: 2020-12-22
• 發明（設計）人: 吉翔;曹亞;周俊琨
• 申請（專利權）人: 成都睿沿科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 成都弘毅天承知識產權代理有限公司 51230
• 代理人: 馬林中

1.基于原子性動作時序特性的摔倒行為識別系統，其特征在于，包括：視頻片段收集模塊、逆序模塊及特征提取網絡模型；

摔倒動作原子性特征如下：摔倒動作的發生是不可拆分的，且是單一方向性的動作；摔倒動作時序特性如下：摔倒的動作是不可逆的；

所述視頻片段收集模塊，用于收集各類行為的時間序列視頻片段，并做好與每類行為的時間序列視頻片段對應的標簽類別，并將收集的各類行為的時間序列視頻片段切分為特征提取網絡模型所需要的視頻長度，所述各類行為的時間序列視頻片段包括正常行為的時間序列視頻片段及摔倒行為的時間序列視頻片段；

所述逆序模塊，用于在所述特征提取網絡模型訓練時，讀取正常行為的時間序列視頻片段和摔倒行為的時間序列視頻片段以及對應的標簽類別，并將摔倒行為的時間序列視頻片段傳輸至逆序模塊，通過所述逆序模塊對摔倒行為的時間序列視頻片段進行逆序操作，生成摔倒逆序動作視頻片段，同時將摔倒逆序動作視頻片段給予新的標簽類別，并將所有的視頻片段分別送入到特征提取網絡模型中；

所述特征提取網絡模型，用于當接收到所述所有的視頻片段時，抽取所有的視頻片段中相應的特征，并將特征層進行分類，結合輸入視頻片段的標簽類別計算對應的損失函數，同時將損失函數進行反向傳播，對特征提取網絡模型的參數進行優化，經過多次的訓練以后，最終得到穩定的特征提取網絡模型；

當有視頻輸入時，通過所述穩定的特征提取網絡模型讀取輸入視頻的視頻流數據，將視頻流數據按照所需要的幀數組織成視頻片段，并將視頻片段中的正常行為的時間序列視頻片段、摔倒行為的時間序列視頻片段及摔倒逆序動作視頻片段均輸入至所述穩定的特征提取網絡模型，經過所述穩定的特征提取網絡模型的處理，若視頻輸入后得到的標簽類別屬于摔倒類別，同時逆序后的視頻片段屬于訓練中新增的標簽類別時，則判定該視頻片段為摔倒動作。

2.根據權利要求1所述的基于原子性動作時序特性的摔倒行為識別系統，其特征在于，所述特征提取網絡模型為TSN網絡模型或ECO網絡模型。

3.根據權利要求1所述的基于原子性動作時序特性的摔倒行為識別系統，其特征在于，所述損失函數為softmax損失函數。

4.根據權利要求1-3任意一項所述的基于原子性動作時序特性的摔倒行為識別系統，其特征在于，預先設定所有的視頻片段分別對應標簽類別的分數值閾值，經過所述穩定的特征提取網絡模型的處理后，通過損失函數計算所有的視頻片段分別對應標簽類別的分數值；

當計算得到的與正常行為的時間序列視頻片段對應的分數值在其預先設定的標簽類別分數值閾值范圍內時，則判定輸入的視頻為正常行為；

當計算得到的與摔倒行為的時間序列視頻片段對應的分數值在其預先設定的標簽類別分數值閾值范圍內，且計算得到的與摔倒逆序動作視頻片段對應的分數值在其預先設定的標簽類別分數值閾值范圍內時，則判定輸入的視頻為摔倒行為。

5.基于原子性動作時序特性的摔倒行為識別方法，應用于權利要求1-4任意一項權利要求所述的基于原子性動作時序特性的摔倒行為識別系統，其特征在于，包括如下步驟：

步驟1、收集各類行為的時間序列視頻片段，并做好與每類行為的時間序列視頻片段對應的標簽類別；

步驟2、將收集的各類行為的時間序列視頻片段切分為特征提取網絡模型所需要的視頻長度，所述各類行為的時間序列視頻片段包括正常行為的時間序列視頻片段及摔倒行為的時間序列視頻片段；

步驟3、利用所有的視頻片段以及對應的標簽類別，訓練特征提取網絡模型，得到穩定的特征提取網絡模型，所述所有的視頻片段包括各類行為的時間序列片段及摔倒逆序動作視頻片段；

步驟4、通過所述穩定的特征提取網絡模型對輸入的視頻的標簽類別進行判斷，若視頻輸入后得到的標簽類別屬于摔倒類別，同時逆序后的視頻片段屬于訓練中新增的標簽類別時，則判定該視頻片段為摔倒動作。

6.根據權利要求5所述的基于原子性動作時序特性的摔倒行為識別方法，其特征在于，步驟2中，所述特征提取網絡模型為TSN網絡模型或ECO網絡模型。