[發明專利]基于神經網絡機器學習識別實物鏡下技能訓練評價方法

有效

• 申請號: 202011591147.4
• 申請日: 2020-12-29
• 公開（公告）號: CN112734704B
• 公開（公告）日: 2023-05-16
• 發明（設計）人: 劉英偉
• 申請（專利權）人: 上海索驗智能科技有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V10/764;G06V10/766;G06V10/82;G06N3/0464;G06N3/08;G09B9/00
• 代理公司: 北京天盾知識產權代理有限公司 11421
• 代理人: 孫倩倩

1.一種基于神經網絡機器學習識別實物鏡下技能訓練評價方法，其特征在于，其包括：

采用基于神經網絡的機器學習方法來對訓練場景中的物體進行識別，訓練場景為單幀圖像輸入，通過多個卷積層、池化層和yolo回歸層識別出多個物體、多個物體的包圍框坐標和對應的物體類別，即將訓練場景拆解；

技能訓練時，根據訓練場景首次輸入的圖像定位訓練場景中需要評分的物體，根據需要評分的物體識別對應的物體類別，根據物體類別判斷執行對應的訓練類別；

持續追蹤已經定位出來的每一個物體并且檢測狀態變化，具體為使用相關濾波法來追蹤所有已經被識別出的物體以及物體接下來的所有運動，對于已經被識別出的物體即有了第一幀的圖像，根據物體的位置構造出物體的回歸目標圖用來計算出濾波模板的值，計算過程中模板和回歸響應圖做循環卷積，其中轉換到傅里葉頻域計算，將卷積簡化成點積操作，最后使用卷積模板和下一幀的圖形進行卷積操作得到新的響應圖，選擇其中響應值最大的點就是物體移動的下一幀圖像中的位置；

當檢測到物體的狀態發生變化的時候，根據訓練類別設定的規則對物體的變化狀態進行評分，即當前操作的情況評分；在操作過程中，設置模擬系統引導提示單元，提供流程提示和操作提示，流程提示為根據訓練設計提示每一個操作步驟，并通過文字和語音播報展現，操作提示為在訓練過程中每一個操作步驟內提示具體的動作；并且在操作過程中，還具有模擬系統操作效果單元，訓練器械夾持小球時，具有夾持反饋力，小球在每一個操作步驟中的顏色可變換，訓練器械移動碰觸訓練模型內的軟體組織、場景內壁阻礙物時，具有碰撞反饋力；訓練器械碰觸到實體環境時具有阻擋反饋，并且根據圖像識別提前預估進行提醒；操作時，通過圖像識別訓練器械在使用過程中的轉向和插入深度，同時模擬出是否與軟體組織之間發生碰撞；在操作過程中，還設置模擬系統訓練判斷單元，用于判斷訓練過程中每個動作的操作完成度；通過模擬系統訓練判斷單元得到的判斷數據通過模擬系統操作記錄評價單元判斷、記錄、顯示操作記錄及分析評價；操作記錄及分析評價為以訓練時間為記錄時間軸，通過記錄操作的動作和操作完成度通過數據分析提供訓練評價報告。

2.如權利要求1所述的基于神經網絡機器學習識別實物鏡下技能訓練評價方法，其特征在于，神經網絡采用darknet框架構建。

3.如權利要求1所述的基于神經網絡機器學習識別實物鏡下技能訓練評價方法，其特征在于，機器通過已經標記好的各種物體進行識別學習，采用Yolo-v3算法從圖像的像素輸出識別出的物體、物體數量和物體類別，算法使用隨機梯度下降的優化方式進行學習訓練，同時在學習訓練用的數據中引入噪聲。