[發明專利]基于時空信息的跌倒檢測方法、系統、存儲介質及設備

有效

• 申請號: 202210536743.5
• 申請日: 2022-05-18
• 公開（公告）號: CN114627427B
• 公開（公告）日: 2022-09-23
• 發明（設計）人: 張友梅;李江嬌;李彬;高夢奇;智昱旻;周大正;張明亮;張瑜
• 申請（專利權）人: 齊魯工業大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V40/10;G06K9/62;G06V10/40;G06V10/764;G06V10/774;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 趙妍

1.基于時空信息的跌倒檢測方法，其特征在于，包括：

獲取待檢測目標在內的視頻；

對視頻中的每一幀圖像，檢測得到人體檢測框后，提取出人體骨骼關鍵點；

將滑動窗口內所有圖像的人體骨骼關鍵點作為一個樣本；

采用自適應關鍵點注意力網絡，提取所述樣本的空間特征；

將樣本的空間特征經過變換和重塑，得到序列，其中，變換是將樣本的空間特征的兩個維度進行交換，重塑是將的兩個維度進行合并，將變換和重塑后得到的序列輸入長短時記憶網絡中；

基于樣本的空間特征，采用長短時記憶網絡提取出樣本的時空特征；所述長短時記憶網絡包含若干個依次連接的長短時記憶單元；每個長短時記憶單元包括下層存儲單元、中層存儲單元和上層存儲單元；最后一個長短時記憶單元中的上層存儲單元的輸出，即為長短時記憶網絡提取出的樣本的時空特征；

基于樣本的時空特征，采用分類網絡得到最后一幀圖像中待檢測目標的跌倒檢測結果；

所述樣本在輸入自適應關鍵點注意力網絡之前，采用批歸一化層對樣本進行歸一化處理，得到歸一化后的樣本：

其中，代表批次數據的人體骨骼關鍵點，代表批次數據人體骨骼關鍵點的均值，代表批次數據人體骨骼關鍵點的方差，是為防止分母出現零所增加的變量，和為學習參數；

其中，樣本的空間特征的提取步驟為：

采用全局平均池化層和全局最大池化層，分別對樣本進行全局平均池化和全局最大池化，得到全局平均池化結果和全局最大池化的結果；

全局平均池化結果和全局最大池化的結果相加后經過全連接層，得到所有人體骨骼關鍵點的權重：

其中，表示Sigmoid激活函數，ReLU表示ReLU激活函數，和表示兩個全連接操作，和分別表示全局平均池化和全局最大池化的結果；

將所述權重與樣本相乘，得到樣本的空間特征：

其中，T為歸一化后的樣本。

2.如權利要求1所述的基于時空信息的跌倒檢測方法，其特征在于，

在一個長短時記憶單元中，下層存儲單元的輸出作為中層存儲單元的輸入，中層存儲單元的輸出作為上層存儲單元的輸入。

3.如權利要求2所述的基于時空信息的跌倒檢測方法，其特征在于，對于兩個相鄰的所述長短時記憶單元，前一個長短時記憶單元中一層存儲單元的輸出作為后一個長短時記憶單元中同層存儲單元的輸入。

4.如權利要求1所述的基于時空信息的跌倒檢測方法，其特征在于，所述分類網絡包括若干個依次連接的全連接層，分類網絡中除最后一個全連接層外的所有全連接層均存在依次連接的Dropout層和激活函數。