[發(fā)明專利]行人跌倒檢測方法、裝置、電子設備及存儲介質

有效

• 申請?zhí)枺?/td>: 202010324228.1
• 申請日: 2020-04-22
• 公開（公告）號: CN111695404B
• 公開（公告）日: 2023-08-18
• 發(fā)明（設計）人: 張耀威;胡晨
• 申請（專利權）人: 北京邁格威科技有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V40/10;G06V10/46;G06V10/82;G06N3/0464;G06N3/08;A61B5/11
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 王婷婷

1.一種行人跌倒檢測方法，其特征在于，所述方法包括：

獲取監(jiān)控圖像序列，監(jiān)控圖像序列包括當前幀監(jiān)控圖像、至少兩個參考幀監(jiān)控圖像；

將監(jiān)控圖像序列輸入到行人跌倒檢測網絡，得到當前幀監(jiān)控圖像中的行人的檢測結果，所述行人跌倒檢測網絡包括：

光流加速度計算網絡，被配置為基于當前幀監(jiān)控圖像和所有參考幀監(jiān)控圖像，生成當前幀監(jiān)控圖像的光流加速度信息；對于當前幀監(jiān)控圖像中的行人，確定所述行人的骨架關鍵點；基于所述行人的骨架關鍵點的位置和所述光流加速度信息，計算所述行人的骨架關鍵點的加速度信息；

行人狀態(tài)判別網絡，被配置為對于所述行人，基于所述行人的骨架關鍵點的加速度信息，生成指示所述行人是否處于跌倒狀態(tài)的檢測結果。

2.根據權利要求1所述的方法，其特征在于，所述骨架關鍵點的加速度信息包括：所述骨架關鍵點在水平方向的加速度、所述骨架關鍵點在垂直方向的加速度。

3.根據權利要求2所述的方法，其特征在于，基于所述行人的骨架關鍵點的位置和所述光流加速度信息，計算所述行人的骨架關鍵點的加速度信息包括：

基于以所述骨架關鍵點的位置為中心的鄰近區(qū)域中的每一個鄰近區(qū)域像素點的加速度信息，計算所述骨架關鍵點的加速度信息，其中，所述鄰近區(qū)域像素點的加速度信息包括：所述鄰近區(qū)域像素點在水平方向的加速度、所述鄰近區(qū)域像素點在垂直方向的加速度。

4.根據權利要求3所述的方法，其特征在于，所述以所述骨架關鍵點的位置為中心的鄰近區(qū)域為以所述骨架關鍵點的位置為中心的、具有預設半徑的圓形區(qū)域。

5.根據權利要求3所述的方法，其特征在于，基于以所述骨架關鍵點的位置為中心的鄰近區(qū)域中的每一個鄰近區(qū)域像素點的加速度信息，計算所述骨架關鍵點的加速度信息包括：

計算所述鄰近區(qū)域中的所有鄰近區(qū)域像素點在水平方向的加速度的平均值；

將所述所有鄰近區(qū)域像素點在水平方向的加速度的平均值作為所述骨架關鍵點在水平方向的加速度；

計算所述所有鄰近區(qū)域像素點在垂直方向的加速度的平均值；

將所述所有鄰近區(qū)域像素點在垂直方向的加速度的平均值作為所述骨架關鍵點在垂直方向的加速度。

6.根據權利要求1-5之一所述的方法，其特征在于，光流加速度計算網絡包括：

骨干網絡，被配置為從監(jiān)控圖像序列中的每一個監(jiān)控圖像提取特征；

光流加速度信息生成網絡，被配置為基于骨干網絡提取的所有特征，生成作為所述光流加速度信息的光流加速度圖；

行人骨架關鍵點確定網絡，被配置為基于骨干網絡提取的所有特征，生成骨架關鍵點熱力圖，骨架關鍵點熱力圖描述當前幀監(jiān)控圖像中的每一個像素點為骨架關鍵點的概率；基于骨架關鍵點熱力圖，確定當前幀監(jiān)控圖像中的所有骨架關鍵點；對所述所有骨架關鍵點進行聚類，以確定行人的骨架關鍵點；

骨架關鍵點加速度信息計算單元，被配置為基于所述行人的骨架關鍵點的位置和所述光流加速度信息，計算所述行人的骨架關鍵點的加速度信息。

7.一種行人狀態(tài)識別裝置，其特征在于，所述裝置包括：

監(jiān)控圖像序列獲取單元，被配置為獲取監(jiān)控圖像序列，監(jiān)控圖像序列包括當前幀監(jiān)控圖像、至少兩個參考幀監(jiān)控圖像；

行人跌倒檢測單元，被配置為將監(jiān)控圖像序列輸入到行人跌倒檢測網絡，得到當前幀監(jiān)控圖像中的行人的檢測結果，所述行人跌倒檢測網絡包括：光流加速度計算網絡，被配置為基于當前幀監(jiān)控圖像和所有參考幀監(jiān)控圖像，生成當前幀監(jiān)控圖像的光流加速度信息；對于當前幀監(jiān)控圖像中的行人，確定所述行人的骨架關鍵點；基于所述行人的骨架關鍵點的位置和所述光流加速度信息，計算所述行人的骨架關鍵點的加速度信息；行人狀態(tài)判別網絡，被配置為對于所述行人，基于所述行人的骨架關鍵點的加速度信息，生成指示所述行人是否處于跌倒狀態(tài)的檢測結果。