[發明專利]一種基于人工智能的免標記儀器設備特征錨點檢測方法

在審

• 申請號: 201811323110.6
• 申請日: 2018-11-08
• 公開（公告）號: CN109472308A
• 公開（公告）日: 2019-03-15
• 發明（設計）人: 劉桂雄;黃堅
• 申請（專利權）人: 華南理工大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京天奇智新知識產權代理有限公司 11340
• 代理人: 劉黎明

本發明提供一種基于人工智能的免標記儀器設備特征錨點檢測方法，包括：采集足夠表征該儀器設備操作過程的圖像或該儀器設備完整操作過程視頻，使用k?means對篩選N_a張圖像，其中N_tr張訓練圖像及N_te張測試圖像；在N_tr張訓練圖像、N_te張測試圖像上標記需要檢測的特征錨點，生成訓練響應圖像、測試響應圖像；以訓練圖像作為輸入，訓練響應圖像作為輸出，訓練DeepLabCut卷積神經網絡，達到收斂目標后，形成訓練完成的神經網絡；將測試圖像輸入到卷積網絡中，以輸出響應圖像上的最大響應值點作為檢出錨點，并計算檢出錨點與實際錨點間的距離，用于評價網絡效果；將任意需要提取特征錨點的圖像輸入卷積神經網絡，輸出特征錨點、對應位置及其置信度。

技術領域

本發明涉及圖像模式識別領域，尤其涉及一種基于人工智能的免標記儀器設備特征錨點檢測方法。

背景技術

量化操作行為是實現智能評判人工操作的瓶頸之一，視覺圖像是在不同環境中觀察、記錄人工操作的簡單方法，然而提取動作特征量化操作行為進行進一步分析的工作量極大。在測量控制中，通常采用添加標記的方法來輔助計算機跟蹤，但是標記是侵入性的，且標記數量、位置必須預先確定。本發明提出一種基于人工智能的免標記儀器設備特征錨點檢測技術，實現了免標記可定義特征錨點檢測，可應用于智能評判人工動作、精密儀器量器跟蹤、設備人機協同、遙控裝置動作、大型裝備操作等各種場景。

發明內容

為解決上述存在的問題與缺陷，本發明實現不添加任何標記地準確跟蹤人工操作、可在圖像上任意定義特征錨點，實現人工操作位姿量化測量及智能評判操作。

本發明的目的通過以下的技術方案來實現：

一種基于人工智能的免標記儀器設備特征錨點檢測方法，樣本采集與篩選、樣本標注、網絡訓練、網絡評價與網絡使用，具體包括以下步驟：

A采集足夠表征該儀器設備操作過程的圖像或該儀器設備完整操作過程視頻，使用k-means對所有圖像或視頻的所有幀進行分析，并篩選N_a張圖像，其中N_tr張訓練圖像及N_te張測試圖像

B在N_tr張訓練圖像、N_te張測試圖像上標記需要檢測的特征錨點，記錄所有n_ap個特征錨點在圖像中的坐標，按照特征錨點生成訓練響應圖像與測試響應圖像

C以訓練圖像作為輸入，訓練響應圖像作為輸出，訓練DeepLabCut卷積神經網絡，使用訓練響應圖像的交叉熵損失作為訓練的目標，經過N_step后或達到收斂目標后，形成訓練完成的神經網絡；

D將測試圖像輸入到卷積網絡中，以輸出響應圖像上的最大響應值點作為檢出錨點，以測試響應圖像上的最大響應值點作為實際錨點，計算檢出錨點與實際錨點間的距離，用于評價網絡效果；

E將任意需要提取特征錨點的圖像輸入卷積神經網絡，輸出特征錨點序號n_ap(n_ap＝1,2,3...N_ap)、對應位置及特征錨點對應序號對應的測試圖像的特征錨點的置信度

本發明有益效果是：

實現不添加任何標記地準確跟蹤人工操作、可在圖像上任意定義特征錨點，實現人工操作位姿量化測量及智能評判操作。

附圖說明

圖1是本發明所述的基于人工智能的免標記儀器設備特征錨點檢測方法流程框圖。

具體實施方式

下面結合實施例及附圖對本發明作進一步詳細的描述。