[發明專利]基于深度相機與機器學習的糖果缺陷檢測裝置及分類方法

有效

• 申請號: 202110264308.7
• 申請日: 2021-03-11
• 公開（公告）號: CN112950602B
• 公開（公告）日: 2022-01-18
• 發明（設計）人: 倪超;王錦亞;李振業;程磊;居榮華
• 申請（專利權）人: 南京林業大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/12;G06T7/62;G06T7/90;G06V10/764;G06V10/82;G06V10/762;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京申云知識產權代理事務所(普通合伙) 32274
• 代理人: 田沛沛;邱興天

1.一種基于深度相機與機器學習的糖果缺陷檢測裝置，其特征在于，包括：糖果進料斗、傳送帶、深度相機、光源、工控機和分選機構，所述糖果進料斗和分選機構分別設置在傳送帶的兩端，所述糖果進料斗內設置有隔斷冷卻履帶，在所述隔斷冷卻履帶上設置有隔斷冷卻板，實現剛凝固定型的糖果的等量分割；所述深度相機和光源設置在傳送帶的上方；所述深度相機與工控機連接，深度相機采集的糖果圖像傳輸至工控機，工控機實現糖果圖像的計算與分類，并根據分類結果控制分選機構，收集缺陷糖果；

缺陷糖果的分類方法采用機器視覺算法與深度學習中的卷積神經網絡相結合來實現，利用機器視覺算法在RGB顏色空間對圖像進行特征提取，并對圖像中粘連的糖果進行凸包分割；分割后的圖像輸入至卷積神經網絡，卷積神經網絡進行缺陷糖果分類，輸出糖果類型和缺陷糖果的缺損面積；

在判斷出粘連糖果之后，通過橢圓擬合找到粘連糖果凸包上的兩個凹點，將凹點連接形成分割線，完成對粘連糖果的分割，凹點檢測的具體步驟如下：

1)采用八鄰域的鏈碼跟蹤法提取圖像中的粘連區域；

2)根據凸封閉包的判定方法，計算粘連區域的凸封閉包；

3)凸封閉包減去原粘連區域，得到凹區域的輪廓，利用歐幾里德距離公式：

式中，D表示兩個凹點之間的距離，x₁表示在2維歐式空間中第1個凹點的橫坐標，x₂表示在2維歐式空間中第2個凹點的橫坐標，y₁表示在2維歐式空間中第1個凹點的縱坐標，y₂表示在2維歐式空間中第2個凹點的縱坐標；

找到凹區域中距離最小的兩點即為凹點。

2.根據權利要求1所述的基于深度相機與機器學習的糖果缺陷檢測裝置，其特征在于：所述分選機構包括設置在傳送帶末端的高速噴閥和設置在高速噴閥下方的收集箱；工控機處理識別出缺陷糖果后，經過一定時間的延時，高速噴閥吹出含有缺陷的糖果至收集箱中。

3.根據權利要求1所述的基于深度相機與機器學習的糖果缺陷檢測裝置，其特征在于：所述深度相機通過相機固定架設置在傳送帶上方，采集均勻落在傳送帶上的糖果圖像。

4.根據權利要求1所述的基于深度相機與機器學習的糖果缺陷檢測裝置，其特征在于：所述光源采用兩根條形光源，條形光源通過可轉動的光源固定架設置在相機固定架上，兩根條形光源實現交叉照射。

5.根據權利要求1所述的基于深度相機與機器學習的糖果缺陷檢測裝置，其特征在于：所述工控機設置有采集卡和GPU，采集卡將深度相機采集的圖像傳輸到工控機，GPU保證傳統機器視覺算法與卷積神經網絡的快速實現。

6.一種基于深度相機與機器學習的缺陷糖果分類方法，其特征在于：采用機器視覺算法與深度學習算法相結合來實現缺陷糖果的分類；采用機器視覺算法，對深度相機采集的糖果圖像進行特征提取，并對圖像中的粘連糖果進行凸包分割；分割后的圖像輸入至卷積神經網絡，卷積神經網絡進行缺陷糖果分類，輸出糖果類型和缺陷糖果的缺損面積；在判斷出粘連糖果之后，通過橢圓擬合找到粘連糖果凸包上的兩個凹點，將凹點連接形成分割線，完成對粘連糖果的分割，凹點檢測的具體步驟如下：

1)采用八鄰域的鏈碼跟蹤法提取圖像中的粘連區域；

2)根據凸封閉包的判定方法，計算粘連區域的凸封閉包；

3)凸封閉包減去原粘連區域，得到凹區域的輪廓，利用歐幾里德距離公式：

式中，D表示兩個凹點之間的距離，x₁表示在2維歐式空間中第1個凹點的橫坐標，x₂表示在2維歐式空間中第2個凹點的橫坐標，y₁表示在2維歐式空間中第1個凹點的縱坐標，y₂表示在2維歐式空間中第2個凹點的縱坐標；

找到凹區域中距離最小的兩點即為凹點。