[發明專利]基于關鍵點檢測的攀爬識別方法

有效

• 申請號: 202011026072.5
• 申請日: 2020-09-26
• 公開（公告）號: CN112287758B
• 公開（公告）日: 2022-08-26
• 發明（設計）人: 張繼勇;戴振宇
• 申請（專利權）人: 浙江漢德瑞智能科技有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06V10/44;G06V10/764
• 代理公司: 杭州昱呈專利代理事務所(普通合伙) 33303
• 代理人: 雷仕榮

1.基于關鍵點檢測的攀爬識別方法，其特征在于，包括以下步驟：

S10，安裝Detectron2開源框架；

S20，配置文件參數；

S30，定義人體攀爬動作類和構建主函數；

S40，對采集到的圖像數據進行處理；

S50，判斷攀爬動作；

其中，S30定義人體攀爬動作類和構建主函數包括以下步驟：

S31，定義人體攀爬動作類，該類用于處理人的關鍵點以及攀爬動作的具體判定；

S32，定義人體攀爬動作類之后，定義類的方法和屬性，建立計算向量角度和點距離的方法；

S33，定義寫入圖像的方法，該方法將計算的角度和距離實時顯示在每一幀的圖像中；

S34，定義處理圖像的方法，將圖像分為每一幀，獨立進行處理；

S35，定義保存方法，該方法將計算的各個角度進行分類保存；

S36，定義角度和距離判斷方法，對角度和距離的關系進行處理，分別進行上肢，下肢和距離比率的判斷，并返回相應數值或數組，滿足判斷條件的角度或距離返回1，否則返回0；

S37，定義攀爬動作判斷方法，對S36返回的數值進行加和，如果和滿足條件，則返回1，表示是攀爬動作，否則返回0；

S38，定義處理視頻的方法，對每一幀的圖像畫出關鍵點和人體框，運行攀爬動作判斷方法，在主函數中不斷返回每一幀的數值，以進行下一步判斷；

主函數用于處理視頻流，將每一幀的視頻截屏成為圖像，進行攀爬動作識別；

所述判斷攀爬動作，為對視頻數據進行處理，得到每一幀圖像的17個關鍵點，計算左手臂，右手臂，左腿，右腿的角度；計算肩距、臂距并得到肩臂距離比；計算胯距，腿距，得到胯腿距離比；得到角度和距離比值的數據之后，設定臂角度閾值為30°-150°，設定腿角度閾值為45°-160°；設定肩臂距離比閾值為0.5-1，胯腿距離比閾值為0.5-1；根據上述閾值對得到的每一幀數據進行判斷，如連續三幀圖像均超出閾值，則符合攀爬動作條件，判定此時人體動作為攀爬動作。

2.根據權利要求1所述的方法，其特征在于，所述安裝Detectron2開源框架，為配置detectron2的安裝環境，通過GitHub安裝detectron2開源框架。

3.根據權利要求1所述的方法，其特征在于，所述配置文件參數包括以下步驟：

S21，在python主文件引入detectron2和opencv2模塊；

S22，通過detectron2提供的yaml文件和default文件獲取程序的配置參數，選擇合適的RCNN模型，同時下載好需要的預訓練模型；

S23，定義get_parser()函數用于接受函數的input參數。

4.根據權利要求1所述的方法，其特征在于，所述對采集到的圖像數據進行處理，為在應用場所布置15-20臺高清攝像頭，實時追蹤并且持續采集圖像數據，采集的圖像數據即為python的輸入，對輸入的圖像數據進行實時處理，以檢測攀爬動作。

5.根據權利要求1所述的方法，其特征在于，所述判斷攀爬動作，為根據定義的人體攀爬動作類，在主函數運行該類并給予其特定參數，得到類的返回值，根據連續三幀圖像的返回值做出判斷，若返回值均為1，則確定該動作為攀爬動作，通過opencv2處理在視頻頁面輸出警告標志或者報警。

6.根據權利要求1所述的方法，其特征在于，所述判定為攀爬動作后，在顯示界面顯示warning，提醒攀爬動作正在進行。