[發明專利]一種基于圖像識別的自動化放礦實驗方法及系統

有效

• 申請號: 201910706065.0
• 申請日: 2019-08-01
• 公開（公告）號: CN110443299B
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 柳小波;王連成;張鑫;邵安林;王懷遠
• 申請（專利權）人: 東北大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/40;G06V10/26;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 沈陽優普達知識產權代理事務所(特殊普通合伙) 21234
• 代理人: 陳曦

1.一種基于圖像識別的自動化放礦實驗方法，其特征在于，包括如下步驟：

步驟1：制作標志顆粒，通過顏色和標號來標識標志顆粒的放置方位；

步驟2：拍攝多張混合有標志顆粒的礦石散體的圖像并對圖像進行處理，構成圖像訓練集，通過圖像訓練集對卷積神經網絡進行訓練；

步驟3：填裝實驗材料，通過機械臂裝置向放礦設備中逐層填裝礦石散體和標志顆粒，直到達到實驗要求高度；

步驟4：開啟放礦設備，并通過攝像識別設備拍攝每層礦石散體和標志顆粒的圖像；

步驟5：通過訓練好的卷積神經網絡對放礦設備放出的散體圖像進行識別，獲得每個標志顆粒的顏色和編號，以及標志顆粒出現時對應的放出體體積；

步驟6：利用編號直接還原法和達孔量法分別處理數據，繪制放出體形態；

所述步驟2具體為：

步驟2.1：利用labelImg對訓練集中的圖像進行標注，標識顆粒按照顏色和標號表示；

步驟2.2：將圖像中labelImg標注后的標識顆粒和礦石散體名稱信息、標注框左上角坐標和長寬信息均自動保存為xml數據形式，每一張圖像標注之后就會產生一個與之相對應的xml文件，以保存這一張圖像的所有標注框信息；

步驟2.3：設置初始學習率、衰減率、衰減因子和總迭代次數；

步驟2.4：對訓練集中的圖像進行隨機剪切、旋轉和RGB強度變化，再對圖像進行歸一化處理，將增強后的圖像的像素處理為相同大小；

步驟2.5：將處理之后的圖像和相應產生的xml文件輸入到YOLO-V3模型中，利用GPU加速對模型進行訓練，訓練過程將每一步的分類損失值、回歸損失值、總損失值保存為csv文件；

步驟2.6：訓練結束后，利用csv文件生成分類、回歸和總損失折線圖，如果損失波動不大，說明模型訓練效果良好，選擇各類損失折線均收斂時的模型為最終模型，并且將此時的神經網絡模型當中的各個節點參數保存下來，形成ckpt文件為最終的模型參數；

所述步驟2.5具體為：

步驟2.5.1：首先經過Darknet-53特征提取網絡對輸入圖像進行特征提取，得到13×13的特征圖；

步驟2.5.2：然后將得到的特征圖分成13×13個分割網格，每一個分割網格都會產生3個尺度不同的矩形預測框；

步驟2.5.3：輸入圖像的原始標注框的中心點必然會落在某一個分割網格當中，此時選擇那一分割網格產生的三個預測框中與原始標注框重疊面積最大的一個預測框作為最終檢測框來預測目標。

2.如權利要求1所述的基于圖像識別的自動化放礦實驗方法，其特征在于，所述步驟1具體為：

步驟1.1：將標志顆粒染成不同的顏色用以表示所在高度的不同，再進行烘干；

步驟1.2：在染色烘干后的標志顆粒上標注兩位數字的編號，第一位數字表示方向角度，第二位數字表示標志顆粒放置在該方向角上距離中心的遠近順序。

3.如權利要求1所述的基于圖像識別的自動化放礦實驗方法，其特征在于，所述步驟2.5.3中最終檢測框的坐標預測公式為：

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

t_x、t_y、t_w、t_h就是神經網絡模型的預測輸出，t_x、t_y是預測的坐標偏移值，t_w、t_h是尺度縮放，c_x和c_y表示特征圖中分割網格的左上角坐標；P_w和P_h表示預測前預測框的size，b_x、b_y、b_w和b_h是預測得到的檢測框的中心的坐標和尺度；

訓練過程中產生的t_w、t_h是用下面公式計算得出：

其中G_w和G_h是原始標注框的寬和高。