[發明專利]一種鋅渣圖像識別及分類方法

有效

• 申請號: 202010847123.4
• 申請日: 2020-08-21
• 公開（公告）號: CN111985406B
• 公開（公告）日: 2023-05-23
• 發明（設計）人: 熊凌;張振洲;陳剛;李克波;吳懷宇;但斌斌;程磊;陳洋;陳志環;陳琳;鄭秀娟
• 申請（專利權）人: 武漢科技大學
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V10/25;G06V10/30;G06V10/40;G06V10/774;G06V10/764;G06V10/82;G06N3/0464
• 代理公司: 湖北武漢永嘉專利代理有限公司 42102
• 代理人: 胡琳萍

1.一種鋅渣圖像識別與分類方法，其特征在于，拍攝鋅鍋現場圖片，通過視覺技術識別鋅渣圖片的鋅渣特征，并對鋅渣圖片進行分類；具體包括以下操作步驟：

步驟1：鋅鍋現場圖片的采集和預處理，對圖片進行去噪，并提取感興趣區域；

步驟2：將預處理后的圖片切割成小塊圖片，并標上序號；其中，依據撈渣機器人執行機構的尺寸a×b(cm)以及鋅鍋撈渣區域的大小M×N(cm)，換算得到每次撈渣對應的圖片大小為像素；將拍攝的包括厚渣和薄渣的原圖片進行等分切割，共得到張小塊圖片，將小塊圖片保存到磁盤中；

步驟3：將切割后的小塊圖片制作為訓練集、驗證集和測試集，采用灰度共生矩陣方法將圖片分為厚渣和薄渣兩類，制作訓練集、驗證集和測試集；

步驟4：采用卷積神經網絡對訓練集進行訓練并測試卷積神經網絡性能；

步驟5：利用訓練好的卷積神經網絡對鋅鍋現場撈渣區進行鋅渣的實時識別與分類。

2.根據權利要求1所述的鋅渣圖像識別與分類方法，其特征在于步驟1中對鋅渣圖片的預處理包括以下步驟：

取鋅鍋現場撈渣區域的彩色圖片數千張并保存，每張圖片像素為X×Y；

若圖像內存在噪點，首先對圖片進行高斯平滑去噪；

采用設置掩膜的方法對圖片進行感興趣區域ROI提取，減少撈渣區域以外的干擾。

3.根據權利要求1所述的鋅渣圖像識別與分類方法，其特征在于步驟2中將切割得到的張小塊圖片依次標好序號作為文件名進行保存。

4.根據權利要求1或3所述的鋅渣圖像識別與分類方法，其特征在于步驟3中將切割后的小塊圖片制作為訓練集、驗證集和測試集按以下步驟進行：

人工選取張小塊圖片中的厚渣和薄渣樣本各若干張，將厚渣和薄渣這若干張圖片都灰度化，計算每張圖片的灰度共生矩陣：先計算圖片在不同方向上的5種紋理特征值：能量、對比度、逆差矩、熵、自相關，然后串聯所有特征值來構建一維特征向量作為圖像的灰度共生矩陣特征；將此特征輸入到SVM分類器來進行訓練；

根據SVM分類器來制作數據集，輸入步驟2中保存的所有小塊圖片，得到所有小塊圖片的分類結果，按比例將其劃分為訓練集、驗證集和測試集。

5.根據權利要求4所述的鋅渣圖像識別與分類方法，其特征在于步驟3中人工選取張小塊圖片中的厚渣和薄渣樣本各100張。

6.根據權利要求1所述的鋅渣圖像識別與分類方法，其特征在于所述步驟4中采用卷積神經網絡對訓練集進行訓練并測試性能的步驟如下：

在卷積神經網絡訓練的過程中使用驗證集，幾個epoch結束后，跑一次驗證集看分類準確率，若分類準確率高于95％，保存卷積神經網絡的網絡模型，停止訓練；否則，調整超參數，并將驗證集中分類結果“存疑”的小塊圖片二次分類；

二次分類的過程為：卷積神經網絡分類的結果根據softmax層給出，向量內所有值加起來的和為1，在二次分類中，若softmax層輸出的標簽向量內某一項大于0.5，則判斷分類結果為那一類，若兩項差別小于0.2，即較大的那一項值小于0.6，則認為這張圖片存在疑問，將其標記為“doubt”并輸出；

將二次分類后的圖片制作為訓練集輸入卷積神經網絡進行訓練，多次使用驗證集來調整網絡的超參數，并驗證網絡的泛化性能，直到網絡達到較好的分類效果；

調試結束后，保存最終的卷積神經網絡參數模型，輸入測試集圖片，輸出測試集的分類準確度，若高于95％，則判定此網絡可投入實際生產。

7.根據權利要求1所述的鋅渣圖像識別與分類方法，其特征在于步驟4中采用卷積神經網絡來對鋅渣圖片進行訓練，首先要對圖片進行數據預處理，采用resize函數更改圖片維度，并將圖片格式由.jpg轉換為h5py。

8.根據權利要求1所述的鋅渣圖像識別與分類方法，其特征在于步驟4中將預處理后的數據輸入卷積神經網絡進行訓練，訓練程序運行的環境是win10專業版，python3.6，tensorflow-gpu1.12.0，keras2.2.4。

9.根據權利要求1所述的鋅渣圖像識別與分類方法，其特征在于所述步驟5中，利用訓練好的卷積神經網絡對鋅鍋現場撈渣區進行鋅渣的實時識別與分類，具體包括以下步驟：

取工業相機實時拍攝的一幀鋅鍋現場圖片，預處理后將該鋅鍋現場圖片切割為小塊圖片，小塊圖片的大小為像素，該鋅鍋現場圖片進行等分切割后共得到張小圖片；

將切割后的小圖片輸入到訓練好的卷積神經網絡中分類，網絡輸出每張圖片的類別，分類結果給出某一時刻鋅鍋圖片的厚渣和薄渣分布信息。