[發明專利]一種人體行為動作檢測識別方法及系統

在審

• 申請號: 202210174732.7
• 申請日: 2022-02-25
• 公開（公告）號: CN114529947A
• 公開（公告）日: 2022-05-24
• 發明（設計）人: 姜林;吳家齊
• 申請（專利權）人: 湖南工商大學
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/34;G06N3/00;G06T5/00;G06T7/55;G01S13/08
• 代理公司: 長沙市和協專利代理事務所(普通合伙) 43115
• 代理人: 熊曉妹

1.一種人體行為動作檢測識別方法，其特征在于,基于ROS服務機器人的硬件設施配置，實現目標人體行為動作的檢測識別，檢測識別包括如下步驟：

步驟1）：啟動ROS服務機器人并啟用智能系統；

步驟2）：啟動Kinect深度雙目攝像頭，并讀取深度雙目攝像頭的參數攝影角，選取視野范圍最大角度，記為α，圖像寬度記為Image_width，圖像高度記為Image_height，讀取系統設置的人機距離閾值記為d；

步驟3）：Kinect深度雙目攝像頭將獲取的灰度圖像傳遞給ROS服務機器人；

步驟4）：ROS服務機器人處理好的灰度圖像結合python功能包skimage中的子模塊morphology的Skeletonize（image）函數和medial_axis（image, mask=None, return_distance=False）函數獲取目標人體的骨骼圖，并對當前圖像進行穩定、平滑處理；

步驟5）：通過啟用2D雷達獲取當前的人機距離Man_machine_distance，提取目標中心點，獲取目標方位Target_bearing，Target_bearing為中心點并位于圖像寬度的位置；

步驟6）：判斷與 兩式是否成立，如果不成立，則根據兩式的大小情況驅動單片機運動底盤調整機器人位置；

步驟7）：此時人機距離Man_machine_distance與提前預設的閾值d相等，且當前追蹤目標位于圖像中間，于是利用公式求得當前畫面的實際高度H，其中h為ROS服務機器人實際高度；

步驟8）：提取目標中心點并利用圖像比例關系，求得目標中心實際高度，公式如下：，其中Image_height為圖像高度，為中心點在圖像中的高度；

步驟9）：間隔t時間后再抓取一幀畫面，重復步驟7獲得t時間后的目標中心實際高度；

步驟10）：計算監護目標中心點的下降速度Spine V，計算公式如下：；

步驟11）：判斷SpineV與VT的大小關系，其中VT為中心點下降速度的閾值；

步驟12）：如果SpineV小于VT，則返回至步驟2重新開始循環執行；

步驟13）：如果Spine V大于VT，則向人體發送音視頻通話請求。

2.根據權利要求1所述的人體行為動作檢測識別方法，其特征在于,所述步驟6）采用基于STM32單片機驅動的運動底盤。

3.根據權利要求2所述的人體行為動作檢測識別方法，其特征在于,所述步驟6）中具體規則如下：若，則驅動STM32運動底盤向遠離人體方向移動，若,則驅動STM32運動底盤向人體方向移動；若,則驅動STM32運動底盤向左轉向，若,則驅動STM32運動底盤向右轉向，直至滿足 與二式，此時系統將人機距離閾值d傳遞至下一步實際高度的計算中。

4.根據權利要求3所述的人體行為動作檢測識別方法，其特征在于,所述中心點下降速度的閾值設定在1.21m/s-2.05m/s。

5.根據權利要求1-4任一所述的人體行為動作檢測識別方法，其特征在于,為實現人體行為動作檢測識別方法采用智能系統實現，該智能系統包括ROS服務機器人工控機、電源、STM32運動底盤、LED屏幕、2D雷達、Kinect深度雙目攝像機以及音頻設備，所述電源用于為ROS服務機器人提供能源支持，LED屏幕用于為用戶提供操作支持，Kinect深度雙目攝像機用于采集當前數據，向智能系統傳遞RGB圖像與當前實時畫面，工控機用于搭載程序并集中處理來自雷達、Kinect深度雙目攝像機傳輸的數據并做出繼續追蹤或撥通音視頻通話的決策，STM32運動底盤用于控制ROS服務機器人進行移動，2D雷達用于檢測ROS服務機器人與監護人的距離與避障，音頻設備用于監護人與用戶之間的音頻轉播。