[發明專利]一種面向救援培訓的行為檢測與效果評價的方法及裝置

在審

• 申請號: 202110656392.7
• 申請日: 2021-06-11
• 公開（公告）號: CN113392758A
• 公開（公告）日: 2021-09-14
• 發明（設計）人: 胡智;石志國
• 申請（專利權）人: 北京科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/42;G06K9/34;G06Q50/20;G06N3/04
• 代理公司: 北京市廣友專利事務所有限責任公司 11237
• 代理人: 張仲波

1.一種面向救援培訓的行為檢測與效果評價的方法，其特征在于，所述方法包括：

獲取待識別圖像；

將所述待識別圖像輸入到VGG-19卷積神經網絡，獲取特征圖像序列；

將所述特征圖像序列輸入Open-pose網絡模型中，通過所述Open-pose網絡模型識別所述待識別圖像15個骨骼點，將所述15個骨骼點的坐標轉化為數字序列；其中，所述15個骨骼點包括頭部、頸部、左肩部、右肩部、左肘部、右肘部、左手部、右手部、腰中心部、左臀部、右臀部、左膝部、右膝部、左腳部、右腳部；

將所述數字序列規范化處理，計算出肢體長度、角度參數，將所述肢體長度以及角度參數傳入三層全連接層，獲取預估計姿態類型；

獲取預先存儲的預估計姿態類型對應的樣本骨骼點坐標的數字序列，根據所述樣本骨骼點坐標的數字序列以及所述待識別圖像對應的骨骼點坐標的數字序列，判斷所述待識別圖像是否達標。

2.根據權利要求1所述的方法，其特征在于，所述將所述待識別圖像輸入到VGG-19卷積神經網絡之前，包括：

對所述待識別圖像進行裁剪縮放；

對裁剪縮放后的待識別圖像進行色彩突出。

3.根據權利要求2所述的方法，其特征在于，所述對所述待識別圖像進行裁剪縮放，包括：

獲取攝像頭采集的圖像的像素數據，根據像素大小進行等比例縮放，縮放至224*224，若所述圖像的長寬比小于1:1，則截掉上部；若所述圖像的長寬比大于1:1，則左右同時截掉同等像素值，最終獲得224*224*3的RGB圖像，即為裁剪縮放后的待識別圖像。

4.根據權利要求2所述的方法，其特征在于，所述對裁剪縮放后的待識別圖像進行色彩突出，包括：

將裁剪縮放后的待識別圖像的色彩空間轉換為HSV色彩空間，并根據紅色的HSV值設定范圍，設置掩膜。

5.根據權利要求1所述的方法，其特征在于，所述獲取待識別圖像，包括：

獲取待識別視頻；

在所述待識別視頻中，以每秒10幀的速度抽取視頻中的圖像序列，作為待識別圖像。

6.根據權利要求1所述的方法，其特征在于，所述Open-pose網絡模型包括全連接層以及softmax層；

所述將所述待識別圖像輸入到VGG-19卷積神經網絡，獲取特征圖像序列，包括：

通過卷積層對所述待識別圖像提取圖像特征，通過池化層降低所述圖像特征的輸入尺寸，提取所述圖像特征關鍵點；

將所述肢體長度以及角度參數傳入三層全連接層，獲取預估計姿態類型，包括：

將所述15個骨骼點的橫縱坐標S_x和S_y、13個軀體長度l_i、13個軀體角度θ_i、常數參數輸入全連接層，通過全連接層得到預估計姿態類型；

通過下述公式(1)(2)計算軀體長度l_i以及軀體角度θ_i：

7.一種面向救援培訓的行為檢測與效果評價的裝置，其特征在于，所述裝置包括：

獲取單元，用于獲取待識別圖像；

輸入單元，用于將所述待識別圖像輸入到VGG-19卷積神經網絡，獲取特征圖像序列；

識別單元，用于將所述特征圖像序列輸入Open-pose網絡模型中，通過所述Open-pose網絡模型識別所述待識別圖像15個骨骼點，將所述15個骨骼點的坐標轉化為數字序列；其中，所述15個骨骼點包括頭部、頸部、左肩部、右肩部、左肘部、右肘部、左手部、右手部、腰中心部、左臀部、右臀部、左膝部、右膝部、左腳部、右腳部；

預估單元，用于將所述數字序列規范化處理，計算出肢體長度、角度參數，將所述肢體長度以及角度參數傳入三層全連接層，獲取預估計姿態類型；

判斷單元，用于獲取預先存儲的預估計姿態類型對應的樣本骨骼點坐標的數字序列，根據所述樣本骨骼點坐標的數字序列以及所述待識別圖像對應的骨骼點坐標的數字序列，判斷所述待識別圖像是否達標。