[發明專利]一種融合人類知識的交互式食品圖像缺陷檢測方法及系統

在審

• 申請號: 202310618111.8
• 申請日: 2023-05-26
• 公開（公告）號: CN116630962A
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 宋然;張浩;張偉;王堅;孫宇勇
• 申請（專利權）人: 山東大學
• 主分類號: G06V20/68
• 分類號: G06V20/68;G06V10/26;G06V10/44;G06V10/764;G06V10/774
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 趙妍

本發明涉及食品質量控制技術領域，提供了一種融合人類知識的交互式食品圖像缺陷檢測方法及系統，包括：響應于訓練指令，對食品圖像依次進行背景分割和過度分割，得到超像素；獲取標記的超像素分類，并對超像素進行特征提取；基于提取的特征和標記的超像素分類，對分類器進行訓練；響應于部署指令，對食品圖像依次進行背景分割、過度分割和特征提取后，通過訓練好的分類器，進行分類，得到食品圖像中的缺陷區域。實現了自動檢測與人類知識的交互式融合。

技術領域

本發明屬于食品質量控制技術領域，尤其涉及一種融合人類知識的交互式食品圖像缺陷檢測方法及系統。

背景技術

本部分的陳述僅僅是提供了與本發明相關的背景技術信息，不必然構成在先技術。

食品缺陷自動檢測系統能夠替代或輔助人工檢驗員評估原料和加工食品的各種質量屬性，從而以相對較低的成本保證食品質量。在食品行業中，勞動力成本普遍較高，而制造商的利潤率通常較低。以土豆為例，由于在購買時大多數情況下無法直接品嘗，消費者傾向于購買外觀良好的土豆產品。因此，許多食品行業公司愿意投資適當的計算機視覺技術，以降低成本并促進銷售。

食品圖像缺陷檢測任務可以理解為根據食品圖像中存在的缺陷情況對其進行分級分類。簡單的分類是根據缺陷區域的大小占比將食品圖像分為有缺陷和無缺陷兩類。復雜的分類則將食品的缺陷劃分為多個類別(例如三個)。典型的基于圖像食品缺陷分析的機器視覺系統通常包含以下三個主要步驟：(1)預處理(從圖像背景中分割出感興趣的區域)，(2)提取圖像特征，將圖像分割為正常區域和缺陷區域，(3)使用模式識別方法對輸入數據的不同區域特征進行分類，得到對應的分類結果。基于深度學習的模式識別方法由于其具有自動學習物體不同特征和高識別準確率的優勢，廣泛應用于食品圖像的缺陷檢測。訓練深度學習方法需要大量的訓練數據，并且需要通過人工標注提供像素級別的圖像類別標簽。以土豆為例，存在缺陷的土豆訓練數據非常稀缺，標注訓練數據非常困難，原因如下：(1)土豆的邊界形狀非常復雜，土豆的顏色、形狀等方面可能在短時間內快速變化，因此手動進行標注非常困難；(2)并非每個人都具備土豆病理學方面的專業知識，因此不是每個人都能參與訓練數據的收集。此外，深度學習模型的訓練通常非常耗時，因此不適用于交互式圖像分類的人機環路系統。重要的是，大多數現有基于深度學習的自動食品質量分析系統都不包含手動的修正機制。目前的基于深度學習的方法得到的特征都是自主學習得到的，缺少人類知識的引導，這就容易造成缺陷檢測的準確率較低的現象。

發明內容

為了解決上述背景技術中存在的技術問題，本發明提供一種融合人類知識的交互式食品圖像缺陷檢測方法及系統，引入超像素進行過分割并不會明顯惡化分類結果，而且可以顯著加快處理速度，另外，當無法自動識別某種缺陷時，允許人工檢查員標記超像素分類以糾正錯誤，這樣實現自動檢測與人類知識的交互式融合。

為了實現上述目的，本發明采用如下技術方案：

本發明的第一個方面提供一種融合人類知識的交互式食品圖像缺陷檢測方法，其包括：

響應于訓練指令，對食品圖像依次進行背景分割和過度分割，得到超像素；獲取標記的超像素分類，并對超像素進行特征提取；基于提取的特征和標記的超像素分類，對分類器進行訓練；

響應于部署指令，對食品圖像依次進行背景分割、過度分割和特征提取后，通過訓練好的分類器，進行分類，得到食品圖像中的缺陷區域。

進一步地，采用閾值方法進行背景分割；

或者，采用超像素分割算法進行過度分割。

進一步地，所述特征提取包括：對每個超像素，計算平均值、方差和偏度。

進一步地，所述特征提取包括：在強度通道上使用邊緣檢測器，確定像素強度的變化速率。

進一步地，所述特征提取包括：在強度通道上使用范圍濾波器，計算鄰域內的最小值、最大值和最大值與最小值之間的差異。