[發明專利]一種基于人體骨架序列和卷積神經網絡的摔倒檢測方法

有效

• 申請號: 201811613090.6
• 申請日: 2018-12-27
• 公開（公告）號: CN109726672B
• 公開（公告）日: 2020-08-04
• 發明（設計）人: 李瑞峰;王珂;程寶平;武軍;李鈺
• 申請（專利權）人: 哈爾濱工業大學;中移（杭州）信息技術有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 哈爾濱市松花江專利商標事務所 23109
• 代理人: 劉冰

1.一種基于人體骨架序列和卷積神經網絡的摔倒檢測方法，其特征在于，該方法包括以下步驟：

步驟一、采集M₁個人體摔倒骨架序列和M₂個人體類摔倒骨架序列，并從MSRDailyActivity3D數據集中隨機選取M₃個人體骨架序列；

步驟二、對步驟一中全部的M₁+M₂+M₃個人體骨架序列進行數據增強處理，得到數據增強處理后的人體骨架序列；

步驟三、將數據增強處理后的人體骨架序列中的人體關節空間位置信息轉換為RGB分量，得到編碼后的RGB圖像；并將每張編碼后的RGB圖像的尺寸變換為l×h；l和h分別代表RGB圖像的寬度和高度；

所述將數據增強處理后的人體骨架序列中的人體關節空間位置信息轉換為RGB分量，得到編碼后的RGB圖像，其具體過程為：

對于數據增強處理后的每一個人體骨架序列，若人體骨架序列的第f幀中的第n個人體關節的空間位置信息為其中：代表第f幀中的第n個人體關節的x軸坐標，代表第f幀中的第n個人體關節的y軸坐標，代表第f幀中的第n個人體關節的z軸坐標；

則將第f幀中的人體關節空間位置信息轉換成RGB圖像的RGB值，所述RGB圖像的RGB值的具體形式為：R^f代表第f幀中的人體關節空間位置信息對應的R值，G^f代表第f幀中的人體關節空間位置信息對應的G值，B^f代表第f幀中的人體關節空間位置信息對應的B值；其中：N＝18；

同理，得到每個人體骨架序列的每幀中的人體關節空間位置信息對應的RGB值；

將排列好的骨架序列通過以下映射關系，得到編碼后的RGB圖像：

代表第f幀中的第n個人體關節在RGB圖像中的像素點的R值，x_min代表第f幀中的所有人體關節的x軸坐標的最小值，floor函數表示向下取整，x_max代表第f幀中的所有人體關節的x軸坐標的最大值；

代表第f幀中的第n個人體關節在RGB圖像中的像素點的G值，y_min代表第f幀中的所有人體關節的y軸坐標的最小值，y_max代表第f幀中的所有人體關節的y軸坐標的最大值；

代表第f幀中的第n個人體關節在RGB圖像中的像素點的B值，z_min代表第f幀中的所有人體關節的z軸坐標的最小值，z_max代表第f幀中的所有人體關節的z軸坐標的最大值；

步驟四、將步驟三尺寸變換后的RGB圖像隨機分成訓練集圖像和測試集圖像兩部分；

步驟五、建立卷積神經網絡，將訓練集圖像輸入建立的卷積神經網絡進行訓練，當訓練集上的損失函數值連續10次不再減小時停止訓練；

步驟六、將測試集圖像輸入步驟五停止訓練時的卷積神經網絡，若測試集上的準確率不低于準確率閾值，則將步驟五停止訓練時的卷積神經網絡作為訓練好的卷積神經網絡；若測試集上的準確率低于準確率閾值，則調整卷積神經網絡的參數后繼續訓練，直至測試集上的準確率不低于準確率閾值時，得到訓練好的卷積神經網絡；

步驟七、利用訓練好的卷積神經網絡對人體進行摔倒識別。

2.根據權利要求1所述的一種基于人體骨架序列和卷積神經網絡的摔倒檢測方法，其特征在于，所述步驟一的具體過程為：

利用微軟的Kinect V2采集M₁個人體摔倒骨架序列和M₂個人體類摔倒骨架序列；

從MSRDaily Activity3D數據集中隨機選取M₃個人體骨架序列；

選取出全部的M₁+M₂+M₃個人體骨架序列共同包含的18個關節點的空間位置信息。