[發(fā)明專利]一種基于圖像識別的自動化放礦實驗方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201910706065.0
• 申請日: 2019-08-01
• 公開（公告）號: CN110443299B
• 公開（公告）日: 2023-05-30
• 發(fā)明（設(shè)計）人: 柳小波;王連成;張鑫;邵安林;王懷遠
• 申請（專利權(quán)）人: 東北大學(xué)
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/40;G06V10/26;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 沈陽優(yōu)普達知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 21234
• 代理人: 陳曦

1.一種基于圖像識別的自動化放礦實驗方法，其特征在于，包括如下步驟：

步驟1：制作標志顆粒，通過顏色和標號來標識標志顆粒的放置方位；

步驟2：拍攝多張混合有標志顆粒的礦石散體的圖像并對圖像進行處理，構(gòu)成圖像訓(xùn)練集，通過圖像訓(xùn)練集對卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練；

步驟3：填裝實驗材料，通過機械臂裝置向放礦設(shè)備中逐層填裝礦石散體和標志顆粒，直到達到實驗要求高度；

步驟4：開啟放礦設(shè)備，并通過攝像識別設(shè)備拍攝每層礦石散體和標志顆粒的圖像；

步驟5：通過訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)對放礦設(shè)備放出的散體圖像進行識別，獲得每個標志顆粒的顏色和編號，以及標志顆粒出現(xiàn)時對應(yīng)的放出體體積；

步驟6：利用編號直接還原法和達孔量法分別處理數(shù)據(jù)，繪制放出體形態(tài)；

所述步驟2具體為：

步驟2.1：利用labelImg對訓(xùn)練集中的圖像進行標注，標識顆粒按照顏色和標號表示；

步驟2.2：將圖像中l(wèi)abelImg標注后的標識顆粒和礦石散體名稱信息、標注框左上角坐標和長寬信息均自動保存為xml數(shù)據(jù)形式，每一張圖像標注之后就會產(chǎn)生一個與之相對應(yīng)的xml文件，以保存這一張圖像的所有標注框信息；

步驟2.3：設(shè)置初始學(xué)習(xí)率、衰減率、衰減因子和總迭代次數(shù)；

步驟2.4：對訓(xùn)練集中的圖像進行隨機剪切、旋轉(zhuǎn)和RGB強度變化，再對圖像進行歸一化處理，將增強后的圖像的像素處理為相同大??；

步驟2.5：將處理之后的圖像和相應(yīng)產(chǎn)生的xml文件輸入到Y(jié)OLO-V3模型中，利用GPU加速對模型進行訓(xùn)練，訓(xùn)練過程將每一步的分類損失值、回歸損失值、總損失值保存為csv文件；

步驟2.6：訓(xùn)練結(jié)束后，利用csv文件生成分類、回歸和總損失折線圖，如果損失波動不大，說明模型訓(xùn)練效果良好，選擇各類損失折線均收斂時的模型為最終模型，并且將此時的神經(jīng)網(wǎng)絡(luò)模型當(dāng)中的各個節(jié)點參數(shù)保存下來，形成ckpt文件為最終的模型參數(shù)；

所述步驟2.5具體為：

步驟2.5.1：首先經(jīng)過Darknet-53特征提取網(wǎng)絡(luò)對輸入圖像進行特征提取，得到13×13的特征圖；

步驟2.5.2：然后將得到的特征圖分成13×13個分割網(wǎng)格，每一個分割網(wǎng)格都會產(chǎn)生3個尺度不同的矩形預(yù)測框；

步驟2.5.3：輸入圖像的原始標注框的中心點必然會落在某一個分割網(wǎng)格當(dāng)中，此時選擇那一分割網(wǎng)格產(chǎn)生的三個預(yù)測框中與原始標注框重疊面積最大的一個預(yù)測框作為最終檢測框來預(yù)測目標。

2.如權(quán)利要求1所述的基于圖像識別的自動化放礦實驗方法，其特征在于，所述步驟1具體為：

步驟1.1：將標志顆粒染成不同的顏色用以表示所在高度的不同，再進行烘干；

步驟1.2：在染色烘干后的標志顆粒上標注兩位數(shù)字的編號，第一位數(shù)字表示方向角度，第二位數(shù)字表示標志顆粒放置在該方向角上距離中心的遠近順序。

3.如權(quán)利要求1所述的基于圖像識別的自動化放礦實驗方法，其特征在于，所述步驟2.5.3中最終檢測框的坐標預(yù)測公式為：

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

t_x、t_y、t_w、t_h就是神經(jīng)網(wǎng)絡(luò)模型的預(yù)測輸出，t_x、t_y是預(yù)測的坐標偏移值，t_w、t_h是尺度縮放，c_x和c_y表示特征圖中分割網(wǎng)格的左上角坐標；P_w和P_h表示預(yù)測前預(yù)測框的size，b_x、b_y、b_w和b_h是預(yù)測得到的檢測框的中心的坐標和尺度；

訓(xùn)練過程中產(chǎn)生的t_w、t_h是用下面公式計算得出：

其中G_w和G_h是原始標注框的寬和高。