[發明專利]基于共生雙流卷積網絡和數字圖像的油炸食品檢測系統

有效

• 申請號: 202010099575.9
• 申請日: 2020-02-18
• 公開（公告）號: CN111402200B
• 公開（公告）日: 2021-12-21
• 發明（設計）人: 付永忠;薛會
• 申請（專利權）人: 江蘇大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T5/40;G06T5/00;G06T7/136;G06T7/13;G06T7/40;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了基于共生雙流卷積網絡和數字圖像的油炸食品檢測系統，包括依次連接的圖像預處理模塊、快速識別模塊、分類與定位模塊、目標裁剪模塊和圖像分析模塊；圖像預處理模塊對輸入的圖像依次進行圖像風格化遷移和圖像濾波處理獲得網絡可用的圖像張量；快速識別模塊內通過共生特征提取網絡和識別網絡組成的全卷積網絡對圖像進行快速分類；分類與定位模塊是全卷積網絡；目標裁剪模塊使用最優框到原圖裁取目標圖像；所述圖像分析模塊對目標圖像進行分析給出量化的分析結果。本發明結合共生雙流卷積網絡和數字圖像分析，能實現快速、精確的油炸食品定位和屬性識別。

技術領域

本發明屬于計算機視覺和圖像處理食品檢測領域，尤其是一種結合共生雙流卷積網絡和數字圖像分析技術的油炸食品檢測系統。

背景技術

油炸食品是人們日常食用的食品，如油炸薯條、薯片、雞腿、雞翅等。無論是中小型餐飲店，還是大型食品生產車間、食堂，目前主要是通過人工對油炸后的食品手工分揀包裝；高溫環境下，既要保證食品衛生，又要快捷的分揀包裝，對于面臨日益增長的人工成本的食品生產企業來說帶來了極大的挑戰，因此研究此類油炸食品自動識別，對實現復雜環境下油炸食品分揀工作自動化具有極大的意義。

針對一般分揀工作自動化屬于機器視覺的研究領域，機器視覺(Machine Vision，MV)是一種為自動化檢測、過程控制和機器人導航等應用提供基于圖像的自動檢測和分析的技術和方法，通常用于自動化領域。已有很多成熟的應用，主要工作包括由采用專業光源照明工業相機采集圖像，由專業的視覺工程師設計圖像處理算法識別圖像并給出結果。然而機器視覺由于采用圖像的分析濾波的方式，且由人工設計，所以當遇到復雜的目標檢測時將面臨巨大的挑戰。機器視覺目前沒有針對油炸食品檢測的解決方案。

卷積網絡是一種利用卷積提取序列或者空間數據局部或全局模式的網絡，其核心部分是所謂的卷積。最早將卷積操作引入神經網絡中的工作應該是LeCun在1998年提出的LeNet。但是，此后的10幾年，由于計算能力的不足和標準數據的缺乏，卷積網絡的效果一直不如淺層的網絡。直到2012年，Hinton的學生Alex Krizhevsky利用一個8層的卷積網絡，一舉奪下著名的ImageNet比賽冠軍，才讓人們重新關注起神經網絡。同時由于人工智能概念的興起，掀起了一股研究的熱潮，卷積神經網絡也在目標識別、語義分割、人臉識別等領域相繼取得了傲人的成果。卷積神經網絡在物體的識別與檢測上面也展現了驚人的魯棒性，即使是對復雜目標，遮擋物體，光照不均的目標仍有很強的識別能力。

但是要把先進的技術發展成果運用到油炸食品的檢測領域，仍存在以下難題亟待解決：

(1)現階段研究的卷積神經網絡主要針對彩色圖像，而檢測多采用工業相機，為灰度圖像，信息特征維度的缺失；

(2)檢測性能對系統的運行速度有極高的要求，卷積神經網絡往往有著上億的參數，大量的神經元計算量，對系統高計算能力的需求；

(3)眾所周知神經網絡的訓練需要大量的數據，而部分檢測系統的應用場景無法提供足量的數據信息如本發明涉及的食品領域檢測問題。

發明內容

針對現有技術中的不足，本申請提出了基于共生雙流卷積網絡和數字圖像的油炸食品檢測系統，結合了共生雙流卷積網絡和數字圖像分析技術，能夠快速的、魯棒的、精確的給出油炸食品的定位和屬性識別，系統具有良好的拓展能力可為油炸食品后續分揀與智能識別提供有力支持。

本發明所采用的技術方案如下：

基于共生雙流卷積網絡和數字圖像的油炸食品檢測系統，包括依次連接的圖像預處理模塊、快速識別模塊、分類與定位模塊、目標裁剪模塊和圖像分析模塊；所述圖像預處理模塊對輸入的圖像依次進行圖像風格化遷移和圖像濾波處理獲得網絡可用的圖像張量；所述快速識別模塊內通過共生特征提取網絡和識別網絡組成的全卷積網絡對圖像進行快速分類；所述分類與定位模塊是全卷積網絡；所述目標裁剪模塊使用最優框到原圖裁取目標圖像；所述圖像分析模塊對目標圖像進行分析給出量化的分析結果。