[發(fā)明專利]一種基于人工智能的免標(biāo)記儀器設(shè)備特征錨點(diǎn)檢測方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201811323110.6
• 申請(qǐng)日: 2018-11-08
• 公開（公告）號(hào): CN109472308A
• 公開（公告）日: 2019-03-15
• 發(fā)明（設(shè)計(jì)）人: 劉桂雄;黃堅(jiān)
• 申請(qǐng)（專利權(quán)）人: 華南理工大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京天奇智新知識(shí)產(chǎn)權(quán)代理有限公司 11340
• 代理人: 劉黎明

1.一種基于人工智能的免標(biāo)記儀器設(shè)備特征錨點(diǎn)檢測方法，其特征在于，所述方法包括樣本采集與篩選、樣本標(biāo)注、網(wǎng)絡(luò)訓(xùn)練、網(wǎng)絡(luò)評(píng)價(jià)與網(wǎng)絡(luò)使用，具體包括以下步驟：

A采集足夠表征該儀器設(shè)備操作過程的圖像或該儀器設(shè)備完整操作過程視頻，使用k-means對(duì)所有圖像或視頻的所有幀進(jìn)行分析，并篩選N_a張圖像，其中N_tr張訓(xùn)練圖像及N_te張測試圖像

B在N_tr張訓(xùn)練圖像、N_te張測試圖像上標(biāo)記需要檢測的特征錨點(diǎn)，記錄所有n_ap個(gè)特征錨點(diǎn)在圖像中的坐標(biāo)，按照特征錨點(diǎn)生成訓(xùn)練響應(yīng)圖像與測試響應(yīng)圖像

C以訓(xùn)練圖像作為輸入，訓(xùn)練響應(yīng)圖像作為輸出，訓(xùn)練DeepLabCut卷積神經(jīng)網(wǎng)絡(luò)，使用訓(xùn)練響應(yīng)圖像的交叉熵?fù)p失作為訓(xùn)練的目標(biāo)，經(jīng)過N_step后或達(dá)到收斂目標(biāo)后，形成訓(xùn)練完成的神經(jīng)網(wǎng)絡(luò)；

D將測試圖像輸入到卷積網(wǎng)絡(luò)中，以輸出響應(yīng)圖像上的最大響應(yīng)值點(diǎn)作為檢出錨點(diǎn)，以測試響應(yīng)圖像上的最大響應(yīng)值點(diǎn)作為實(shí)際錨點(diǎn)，計(jì)算檢出錨點(diǎn)與實(shí)際錨點(diǎn)間的距離，用于評(píng)價(jià)網(wǎng)絡(luò)效果；

E將任意需要提取特征錨點(diǎn)的圖像輸入卷積神經(jīng)網(wǎng)絡(luò)，輸出特征錨點(diǎn)序號(hào)n_ap(n_ap＝1,2,3...N_ap)、對(duì)應(yīng)位置及特征錨點(diǎn)對(duì)應(yīng)序號(hào)對(duì)應(yīng)的測試圖像的特征錨點(diǎn)的置信度

2.如權(quán)利要求1所述的基于人工智能的免標(biāo)記儀器設(shè)備特征錨點(diǎn)檢測方法，其特征在于，所述步驟A中：足夠表征該儀器設(shè)備操作過程的圖像指圖像應(yīng)該涵蓋整個(gè)儀器設(shè)備操作過程，并且對(duì)于旋轉(zhuǎn)過程，旋轉(zhuǎn)角度差分值應(yīng)小于等于15°，且儀器應(yīng)在盡量在整個(gè)視野范圍中出現(xiàn)。

3.如權(quán)利要求1所述的基于人工智能的免標(biāo)記儀器設(shè)備特征錨點(diǎn)檢測方法，其特征在于，所述步驟A中：使用k-means對(duì)所有圖像或視頻的所有幀進(jìn)行分析包括：

(1)將所有圖像{I₁,I₂,I₃…I_N}映射為特征向量{v₁,v₂,v₃…v_N}，設(shè)總共提取N_a張圖像，則生成個(gè)聚類中心{m₁⁽¹⁾,...,m_k⁽¹⁾}；

(2)通過特征向量到各聚類中心的距離則可以判斷出任意的第i張圖像I_i屬于哪一個(gè)聚類中心，將所有圖像按照特征向量聚為點(diǎn)集并認(rèn)為I_i屬于第p類(1≤p≤k)

之后，在根據(jù)聚類的特征向量來計(jì)算新的聚類中心

進(jìn)入下一次迭代，重復(fù)步驟(2)直到聚類中心不再發(fā)生變化。

4.如權(quán)利要求1所述的基于人工智能的免標(biāo)記儀器設(shè)備特征錨點(diǎn)檢測方法，其特征在于，所述步驟B中，所有N_ap個(gè)特征錨點(diǎn)在第n張訓(xùn)練圖像I_{tr_n}中的坐標(biāo)為則可以生成

重復(fù)則可生成N_tr張訓(xùn)練圖像的訓(xùn)練響應(yīng)圖像

同理，也能生成N_te張測試圖像的測試響應(yīng)圖像

5.如權(quán)利要求1所述的基于人工智能的免標(biāo)記儀器設(shè)備特征錨點(diǎn)檢測方法，其特征在于，所述步驟C中，響應(yīng)圖像上某個(gè)像素點(diǎn)的真實(shí)響應(yīng)為輸出響應(yīng)為則交叉熵?fù)p失E_loss(p,p_out)為：

6.如權(quán)利要求1所述的基于人工智能的免標(biāo)記儀器設(shè)備特征錨點(diǎn)檢測方法，其特征在于，所述步驟D中，若第n張訓(xùn)練圖像I_{tr_n}中輸出的錨點(diǎn)坐標(biāo)為則平均距離偏差為這一指標(biāo)指示了檢測錨點(diǎn)的偏離程度。

7.如權(quán)利要求1所述的基于人工智能的免標(biāo)記儀器設(shè)備特征錨點(diǎn)檢測方法，其特征在于，所述步驟E中，特征錨點(diǎn)序號(hào)n_ap其中n_ap＝1,2,3...N_ap、對(duì)應(yīng)位置及特征錨點(diǎn)相應(yīng)序號(hào)對(duì)應(yīng)的測試圖像的特征錨點(diǎn)的置信度具體為