[發明專利]基于關鍵點檢測的攀爬識別方法

有效

• 申請號: 202011026072.5
• 申請日: 2020-09-26
• 公開（公告）號: CN112287758B
• 公開（公告）日: 2022-08-26
• 發明（設計）人: 張繼勇;戴振宇
• 申請（專利權）人: 浙江漢德瑞智能科技有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06V10/44;G06V10/764
• 代理公司: 杭州昱呈專利代理事務所(普通合伙) 33303
• 代理人: 雷仕榮

本發明公開了基于關鍵點檢測的攀爬識別方法，S10，安裝Detectron2開源框架；S20，配置文件參數；S30，定義人體攀爬動作類和構建主函數；S40，對采集到的圖像數據進行處理；S50，判斷攀爬動作。本發明對關鍵點之間的關系(如距離，三個點組成向量的夾角)進行計算，對視頻的連續三幀圖像進行判斷，當每一幀圖像的關鍵點關系都滿足攀爬的條件時，系統才會做出判斷，這可以有效增加識別系統的魯棒性，可靠性更高，具有極大的實用價值。

技術領域

本發明屬于深度學習技術領域，涉及一種基于關鍵點檢測的攀爬識別方法。

背景技術

人體關鍵點檢測是識別和定位圖像中所有人的關鍵點，這是許多視覺應用(如行人動作識別，人機交互)的基礎研究課題。人體的姿態是身體不同結構部分組成的，比如分為頭部、軀干部分，手肘和腿部等，它們的形變非常多樣性導致人體關鍵點檢測非常具有挑戰性。近十年來，出現了很多不同方法來解決這個問題，從最開始的基于圖形結構和圖模型，到后面的基于深度圖使用RGB-D相機來做，都取得了一些的成果，但是很難投入實用。直到2014年，卷積神經網絡被引入人體關鍵點檢測領域，關鍵點檢測取得了一些重大進展。

從輸入圖像的性質分類，可以分為基于深度圖像和基于普通RGB圖像的關鍵點檢測。最近幾年的人體關鍵點檢測研究都是基于普通RGB圖像，基于RGB圖像的人體關鍵點檢測也可以分為兩類，傳統方法和深度學習方法

傳統方法主要采用圖形結構來解決人體關鍵點檢測問題，例如，樹模型(TreeModels)和隨機森林模型(Random Forest Models)都被證明是非常有效的關鍵點檢測算法。還有一些算法是基于圖模型，比如隨機場模型(Random Field Models)和依賴圖模型(Dependency Graph Models)也被很多學者研究。圖形結構是Fischler等[21]在1973年提出，最初這是一個經典的面部結構檢測算法。后來Felzenszwalb等人對圖形結構做了一些重大改進，使得圖形結構方法的應用范圍更廣。

由于深度學習在計算機視覺領域的火熱，目前很多人體關鍵點檢測方法都是基于深度學習方法。根據處理情況不同可以分為單人關鍵點檢測和多人關鍵點檢測，單人關鍵點檢測可以處理單個人的關鍵點檢測問題，一般需要人在圖片中心位置。Toshev等人提出DeepPose算法來解決關鍵點檢測問題，這是卷積神經網絡首次被引入到人體關鍵點檢測問題上，DeepPose提出通過級聯的卷積神經網絡來處理關鍵點檢測問題。DeepPose是直接對坐標點進行回歸，由于人體姿態靈活，形態多樣，直接坐標回歸不是很容易，訓練也不易收斂。Tompson等人使用卷積神經網絡和圖模型來預測關鍵點的熱力圖(Heatmaps)，熱力圖中響應值最大的位置表示人體關鍵點位置，訓練更容易收斂，其中卷積神經網絡部分用于提取特征，圖模型部分則用于構建人體關鍵點之間的位置關系。該方法奠定了熱力圖在關鍵點檢測領域的重要位置，后來的方法幾乎都是使用熱力圖的方式來預測關鍵點位置。2016年，一些學者通過構建很深的卷積神經網絡來生成關鍵點的熱力圖，檢測效果在各種數據集上達到領先水平。

近年來深度學習的興起對于人體關鍵點檢測問題的解決提供了新的思路，但是復雜的網絡模型往往意味著需要較高硬件水平的支持與較長的計算時間，多數深度學習網絡模型需要耗費大量的人力物力與計算成本。人體關鍵點的檢測算法也從局限于單人關鍵點檢測發展到多人情況下的人體關鍵點檢測。而多人情況下的人體關鍵點檢測往往伴隨著更復雜的網絡結構，意味著更高的計算成本與更長的訓練時間。在這個移動終端普及化與倡導智能自動化的今天，一個良好的適用于人體關鍵點檢測問題的網絡模型應該具有較強魯棒性、較低的計算成本、較好的識別精度、能容納多名使用者等的特點，比如R-CNN。