[發明專利]一種移乘搬運護理機器人的人體姿態視覺識別方法

有效

• 申請號: 201910393882.5
• 申請日: 2019-05-13
• 公開（公告）號: CN110097024B
• 公開（公告）日: 2020-12-25
• 發明（設計）人: 陳夢倩;李順達;郭士杰;劉今越;賈曉輝;劉彥開
• 申請（專利權）人: 河北工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 天津翰林知識產權代理事務所(普通合伙) 12210
• 代理人: 付長杰

本發明為一種移乘搬運護理機器人的人體姿態視覺識別方法，該方法利用基于RGBD(彩色圖RGB+深度圖Depth)的雙級網絡(第1級神經網絡為PAF，第2級神經網絡為改進的ResNet)實現了近距離更高精度的識別，對通常用來分類的ResNet網絡改進，修改其輸入、輸出結構，使其能處理人體關節識別問題，作為第2級神經網絡，與現有方法相比得到了更高的精度。本發明提出的最近鄰蟲隨法在僅依賴兩關節坐標的情況下，自動追蹤到人體腋下輪廓，進一步利用凸包算法修復腋下輪廓，最后得到腋下中心即腋下點，該腋下點識別方法在降低了腋下點對關節位置的依賴的同時，提高了準確性。

技術領域：

本發明屬于護理機器人技術領域，具體涉及一種移乘搬運護理機器人的人體姿態視覺識別。

背景技術：

我國已步入老齡化社會，目前，超過60歲的老人已超過2.3億，且老齡化程度日益嚴重，伴隨隨著我國經濟、技術的不斷進步，我國市場對智能移乘搬運護理機器人的需求越來越大。環境的智能感知與理解是移乘搬運護理機器人實現智能化的關鍵，而人體姿態識別是環境感知的一大關鍵。

當前，人體姿態識別多是接觸式識別，通過貼點等對人體的姿態進行估算，瑞士MindMaze公司研制的MindMotion Pro設備采用深度攝像機來捕捉患者佩戴的高亮反光球的三維空間運動軌跡,并采用慣性追蹤器來檢測患者前臂和手腕的旋轉、伸展等動作；中國大連理工大學專利201611272616.X采用12個數據采集節點分別放置在人體軀干的不同位置用于測量人體不同軀干的運動姿態；接觸式測量需要患者佩戴多種傳感器或光學標志,不僅麻煩，還影響患者的運動，導致患者心理不適，不利于全自動檢測的實際應用。非接觸式人體姿態測量以視覺為主，彩色圖人體姿態識別方法PAF(PartAffinity Field)(Cao Z,Simon T,Wei S E,et al.Realtime Multi-Person 2D Pose Estimation usingPartAffinity Fields[J].2016.)實現了高精度高可靠性的人體姿態識別，但只能提供2D像素坐標，估算不能轉到3D全局坐標；Zimmermann等人(Zimmermann C,Welschehold T,Dornhege C,et al.3D Human Pose Estimation in RGBD Images for Robotic TaskLearning[J].2018.)針對服務機器人的抓取示教功能提出了基于RGBD信息的3D卷積網絡，該算法運算量大，不利于硬件輕量化、輸出實時化。當前微軟推出的Kinect是護理行業的最普遍的人體姿態視覺識別類產品：日本理化研究所推出的抬舉式移乘機器人RIBA(MukaiT,Hirano S,Yoshida M,et al.Tactile-based motion adjustment for the nursing-care assistant robot RIBA[C]//IEEE International Conference on RoboticsAutomation.2011.)采用Kinect相機及其SDK來識別人體姿態，但基于隨機森林的該算法在人體與相機距離過近或人體被部分遮擋時可能無法識別或誤識別，另一方面，Kinect SDK無法識別用戶是正面還是背面，也就是無法保證用戶關節的左右方向識別。如何更加可靠得實現非接觸式、近距離適應性強的實時全局人體關節位置計算是當前移乘搬運護理機器人的一大難題。

發明內容：

本發明彌補了上述方法的不足，向移乘搬運護理機器人(護理機器人的具體結構原理參見申請號為201710340526.8的中國專利)提供了便利、準確度更高且近距離適應性強的人體關節全局坐標識別方法，并為機器人提供更精確的腋下輪廓計算，提高了腋下點的計算精度。

本發明的技術方案是：

一種移乘搬運護理機器人的人體姿態視覺識別方法，該方法包括人體關節識別和人體腋下識別，所述人體關節識別的步驟是：