[發明專利]居家老人姿態檢測方法、系統、存儲介質、設備及應用

在審

• 申請號: 202110192938.8
• 申請日: 2021-02-20
• 公開（公告）號: CN113435236A
• 公開（公告）日: 2021-09-24
• 發明（設計）人: 丁德瓊;胡鑫;李政佐;王昊;初佃輝
• 申請（專利權）人: 哈爾濱工業大學（威海）
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62
• 代理公司: 北京匯捷知識產權代理事務所(普通合伙) 11531
• 代理人: 盛君梅

1.一種居家老人姿態檢測方法，其特征在于，所述居家老人姿態檢測方法包括：

利用RealSense鏡頭采集老人居家環境數據，并將采集的數據發布在云端；下載云端數據進行深度圖像解壓得到偽彩色圖像，并放入指定位置進行處理；

讀取處理的相關圖像，進行人體骨骼化識別得到人體3d骨架圖；

基于人體骨骼化識別結果通過特征提取、姿態匹配，獲取老人的具體姿態；

對得到的人體3d骨架圖以及老人的具體姿態進行顯示；并判斷老人的同一姿態維持時間是否超出預設閾值，若超出，則進行報警提醒。

2.如權利要求1所述的居家老人姿態檢測方法，其特征在于，所述讀取處理的相關圖像，進行人體骨骼化識別得到人體3d骨架圖包括：基于處理的相關圖像利用人體骨骼化識別模型進行識別，得到heatmap和paf變量，通過得到的heatmap和paf變量進行人體關節點連接，得到2d的人體關鍵點坐標；

結合深度圖的深度信息以及相機內參，對得到的2d人體關鍵點坐標進行坐標變換，得到重建的3d坐標；對重建的3d坐標進行旋轉即可得到的人體3D骨架圖。

3.如權利要求1所述的居家老人姿態檢測方法，其特征在于，所述讀取處理的相關圖像，進行人體骨骼化識別得到人體3d骨架圖包括：

(1)讀取處理后的相關圖像，篩選圖像中有老人存在的彩色圖及其對應偽彩色圖；并將篩選的相關數據作為訓練集；

(2)利用openpose模型對彩色圖進行識別，得到圖像關鍵點標簽以及heatmap和paf作為標簽的圖像數據；

(3)構建自下而上基于openpose網絡的人體骨骼化識別模型，并利用訓練集對構建的人體骨骼化識別模型進行訓練，得到最優的人體骨骼化識別模型；

(4)利用測試集對最優的人體骨骼化識別模型進行測試，利用測試好的人體骨骼化識別模型進行人體骨骼化識別，得到人體骨骼關節點；

(5)對得到的人體骨骼關節點進行連接；同時基于得到關鍵點坐標以及深度信息結合攝像頭內參獲取三維關節點信息，并將人體骨架圖的3d坐標進行旋轉得到正向人體3d骨架圖。

4.如權利要求2所述的居家老人姿態檢測方法，其特征在于，步驟(5)中，所述將人體骨架圖的3d坐標進行旋轉包括：計算人體中臀和脖子之間的中點作為人體的中心點，將中心點平移到原點，圍繞得到的原點進行旋轉。

5.如權利要求4所述的居家老人姿態檢測方法，其特征在于，所述圍繞得到的原點進行旋轉包括：將脊柱即中臀利用x軸逆時針旋轉公式繞x軸轉到x0z平面；將脊柱利用y軸逆時針旋轉公式繞y軸進行旋轉；將左右肩構成的向量利用z軸逆時針旋轉公式旋轉到y0z平面中；

所述x軸逆時針旋轉公式如下：

所述y軸逆時針旋轉公式如下：

所述z軸逆時針旋轉公式如下：

6.如權利要求1所述的居家老人姿態檢測方法，其特征在于，所述基于人體骨骼化識別結果通過特征提取、姿態匹配，獲取老人的具體姿態包括：獲取人體3D骨骼化坐標數據，并基于獲取的人體3D骨骼化坐標數據進行特征計算；并將計算好的特征數據組成一個有序數組，利用基于隨機森林的姿態識別模型進行人體姿態識別，得到姿態識別結果；

所述基于獲取的人體3D骨骼化坐標數據進行特征計算包括：

基于獲取的人體3D骨骼化坐標數據計算7種特征值；

所述7種特征值包括：

前屈角即脖子和鼻子組成的向量以及脖子和中臀組成的向量的夾角；

脖子和左臀、左臀和左膝蓋組成的角以及脖子和右臀、右臀和右膝蓋組成的角；

肩部角即脖子和左肩、左肩和左手肘組成的角以及脖子和右肩，右肩和右手肘組成的角；

膝蓋角即右臀和右膝蓋、右腳踝和右膝蓋組成的角以及左臀和左膝蓋、左腳踝和左膝蓋組成的角。