[發明專利]一種基于圖卷積神經網絡的視角自適應多目標摔倒檢測方法

在審

• 申請號: 202110287827.5
• 申請日: 2021-03-17
• 公開（公告）號: CN112966628A
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 曾碧;陳文軒;劉建圻
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 林麗明

1.一種基于圖卷積神經網絡的視角自適應多目標摔倒檢測方法，其特征在于，包括以下步驟：

采用目標檢測算法檢測訓練視頻源中每一幀圖像的人物，采用姿態估計算法提取訓練視頻源中每一幀圖像的關鍵骨骼點數據，根據所提取的關鍵骨骼點數據作為訓練集并進行預處理；

將預處理后的訓練集輸入視角自適應子網絡中進行訓練及視角調整，并根據視角調整后的關鍵骨骼點數據計算樣本運動數據，將視角調整后的訓練集和所述樣本運動數據輸入圖卷積摔倒識別主網絡中進行訓練；

采用目標檢測算法檢測目標視頻源中每一幀圖像的人物目標，采用姿態估計算法提取每一幀圖像中人物目標的關鍵骨骼點數據，當連續檢測到同一人物目標的幀數大于預設的檢測閾值時，將所提取的關鍵骨骼點數據輸入完成訓練的視角自適應子網絡中，得到視角調整參數；

根據所述視角調整參數對所述關鍵骨骼點數據進行視角調整，再根據視角調整后的關鍵骨骼點數據計算運動數據，將所述視角調整后的關鍵骨骼點數據和所述運動數據輸入完成訓練的圖卷積摔倒識別主網絡進行摔倒檢測，輸出檢測結果標簽。

2.根據權利要求1所述的視角自適應多目標摔倒檢測方法，其特征在于，對訓練集進行預處理的步驟包括：對單幀圖像的關鍵骨骼點數據逐一進行歸一化處理，再對所有關鍵骨骼點數據進行平均歸一化處理；對訓練視頻源中每一幀圖像進行動作識別并標注標簽，對所述標簽進行平滑化處理；根據所述標簽確定訓練視頻源中的動作銜接幀，以所述動作銜接幀作為交界取前8幀圖像及后8幀圖像進行前一動作遞減以及后一動作遞增處理，再乘以對應圖像幀中所有關鍵骨骼點數據的平均值。

3.根據權利要求2所述的視角自適應多目標摔倒檢測方法，其特征在于，所述關鍵骨骼點數據包括：鼻節點、左肩部節點、右肩部節點、左肘部節點、右肘部節點、左手腕節點、右手腕節點、左胯部節點、右胯部節點、左膝蓋節點、右膝蓋節點、左腳踝節點、右腳踝節點、胸節點，其中，胸節點利用左肩部節點和右肩部節點進行構建。

4.根據權利要求3所述的視角自適應多目標摔倒檢測方法，其特征在于，采用目標檢測算法檢測視頻源中每一幀圖像的人物的步驟包括：

采用YOLOv5目標檢測算法逐幀捕捉視頻源中的人物；

若當前圖像中檢測到人物，采用姿態估計算法提取當前圖像的關鍵骨骼點數據；

若當前圖像中沒有檢測到人物，采用YOLOv3目標檢測算法捕捉當前圖像幀的人物，若當前圖像中檢測到人物，采用姿態估計算法提取當前圖像的關鍵骨骼點數據，否則對下一幀圖像進行檢測。

5.根據權利要求4所述的視角自適應多目標摔倒檢測方法，其特征在于，所述姿態估計算法包括ResNet152和/或ResNet50，以及SSTN網絡；采用膨脹優化算法EDO對所述姿態估計算法網絡中的ResNet152和ResNet50殘差網絡結構進行優化；所述SSTN網絡對姿態估計算法中的檢測框偏移值進行優化。

6.根據權利要求5所述的視角自適應多目標摔倒檢測方法，其特征在于，還包括以下步驟：

采用以優化后的檢測框作為輸入的多目標跟蹤算法捕捉檢測人物目標，并設置人物目標對應的追蹤ID；根據相鄰兩幀圖像的檢測框重合度IOU并結合檢測框內圖像特征，逐一判斷相鄰兩幀圖像目標的追蹤ID是否一致：若是，則判定目標連續存在于相鄰兩幀圖像；若否，則判定目標不連續存在于相鄰兩幀圖像。

7.根據權利要求5所述的視角自適應多目標摔倒檢測方法，其特征在于，還包括以下步驟：設置關節置信度閾值范圍，擴大影響摔倒行為檢測的胸節點、左肩膀、右肩膀、左胯部、右胯部的關節置信度，應用于姿態估計算法提取骨骼點數據。