[發明專利]一種單兵隊列動作智能實時監督糾錯系統及方法

有效

• 申請號: 202011128240.1
• 申請日: 2020-10-21
• 公開（公告）號: CN112257568B
• 公開（公告）日: 2022-09-20
• 發明（設計）人: 魏俊宇;郭云霄;唐鶯;左震;蘇紹璟;孫備;陳祖龍;吳鵬
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/764;G06V10/82;G06N3/04
• 代理公司: 北京清控智云知識產權代理事務所(特殊普通合伙) 11919
• 代理人: 馬肅

1.一種單兵隊列動作智能實時檢測與糾錯系統，其特征在于，包括：依次控制連接的接收單元、動作檢測分類單元、人體骨架生成單元、對比處理單元和輸出單元；所述接收單元用于接收從攝像頭傳來的隊列視頻并進行處理；所述動作檢測分類單元用于圖像尺寸調整、圖像中人體動作的檢測以及標記分類；

所述人體骨架生成單元用于計算圖像中人體關節及其位置坐標、對所述位置坐標有序連線以及輸出連線后得到的人體骨架圖；所述對比處理單元用于構建數據庫、圖像對比處理以及輸出對比信息；

所述單兵隊列動作智能實時檢測與糾錯系統的檢錯與糾錯方法包括以下步驟：

步驟一：在所述對比處理單元內構建三大步伐的標準隊列動作數據庫，所述三大步伐包括齊步、正步和跑步，所述數據庫包括三大步伐的標準隊列動作視頻和標準隊列關節點動態圖像；

步驟二：通過所述接收單元接收從攝像頭傳來的隊列視頻，并截取隊列動作視頻的圖像并記錄對應的時間；

步驟三：通過所述動作檢測分類單元將所述接收單元發送過來的隊列動作圖像調整至相同尺寸，然后使用改進的SSD人體動作檢測器檢測所述隊列動作圖像，再通過檢測結果標記其所屬的隊列動作類型；

步驟四：在所述人體骨架生成單元內使用隊列動作人體關節識別模型計算出相對應的帶有隊列動作類型標記的圖像中的人體關節及其位置坐標，再對各個關節根據坐標位置有序連線，最后輸出人體骨架圖；

步驟五：在所述對比處理單元內，從標準隊列動作視頻中截取與每幀隊列動作圖像對應時間相同的標準隊列圖像后，使用該圖像對所述人體骨架圖進行對比處理，輸出不標準隊列圖像，以及所述不標準隊列圖像中的錯誤信息；所述對比處理過程包括將每幀隊列圖像對應的人體骨架圖與標準隊列圖像中的標準隊列動作進行對比分析后，確定每幀人體骨架圖中每個模塊隊列動作的分值，將總分值低于閾值的模塊標記出來，并通過聲信號反饋給受訓者；而將連續多幀人體骨架圖所有模塊對應分值的平均值作為連續多幀人體骨架圖呈現的總體隊列動作的總分值，作為隊列動作的總評分反饋給受訓者，所述閾值可由施訓者設定；

步驟六：通過所述輸出單元實時地輸出所述不標準隊列圖像和與所述不標準隊列圖像對應的標準隊列關節點動態圖像、以及輸出聲提示信號；

所述改進的SSD人體動作檢測器由適用于SSD的改進16層視覺幾何群網絡、非極大值抑制層組成；改進VGG-16網絡中的38*38*512第四卷積層、19*19*1024第七卷積層、10*10*512第八卷積層、5*5*256第九卷積層、3*3*256第十卷積層、1*1*128第十一卷積層分別與非極大值抑制層相連接，同一目標僅保留預測置信度最高的候選框，以提高識別準確率；識別過程中，提取候選區域與檢測過程二合一，以提升識別速度；

去掉了傳統VGG-16網絡的FC6、FC7、FC8全連接層，去掉了傳統VGG-16網絡的dropout層，將第五最大池化層從2*2*256-s2變換到3*3*256-s1，使經過第五池化層過后的特征圖保持較大的尺寸；在進行卷積、池化運算時添加了空洞卷積算法機制，使得后面層的感受野重新保持不變，有利于模型繼續采用原來的網絡參數進行模型微調；

所述SSD人體動作檢測器對不同尺度的特征圖上的每個點，設定生成尺度不同的特征抓取盒，每個特征圖對應的特征抓取盒由特征尺度參數確定；用3*3卷積核對盒范圍內圖像卷積運算，提取每個特征盒中的特征，判斷特征抓取盒內是否有對應的目標；

所述非極大值抑制層輸入為大量不同尺度的特征圖像的預測結果，非極大值抑制層保留置信度得分最大的目標檢測候選框，抑制在同一目標的位置上產生的大量較低置信度的候選框。