[發明專利]一種基于深度學習的食材辨識系統和食材辨識方法

在審

• 申請號: 201810432216.3
• 申請日: 2018-05-08
• 公開（公告）號: CN108846314A
• 公開（公告）日: 2018-11-20
• 發明（設計）人: 高忠科;黨偉東;常傳泉
• 申請（專利權）人: 天津大學;天津科源科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京世衡知識產權代理事務所(普通合伙) 11686
• 代理人: 肖淑芳

本發明提供一種基于深度學習的食材辨識系統和食材辨識方法，還涉及一種基于深度學習的食材圖像識別模塊的構建方法，其中所述食材圖像識別模塊的構建方法包括：獲取大量食材圖像，根據食材信息為所述食材圖像分別設定標簽，構建帶標簽的食材圖像數據庫；構建初始深度學習網絡模型，包括對網絡結構以及網絡參數的初始化；將所述食材圖像數據庫中食材圖像輸入初始深度學習網絡模型，訓練獲得食材圖像識別模塊。本發明將基于深度學習的圖像識別方法用于食材識別，采用深度學習算法對食材數據進行訓練分析，能夠實現盡可能精確的食材辨識。

技術領域

本發明涉及一種食材辨識系統和食材辨識方法，以及基于深度學習的食材圖像識別模塊的構建方法和所述食材圖像識別模塊在智能冰箱中的應用。

背景技術

深度學習作為一種新興的機器學習方法，其特征在于模擬人腦關于認知的結構，不斷提取樣本特征，進而抽象出樣本的屬性特征。通過數據驅動，可找尋大量樣本的內在聯系，進而解決一類問題。其在語音識別、圖像識別和自然語言處理三個領域中，對于圖像的處理是深度學習最早嘗試的領域。隨著各機構組織研究人員的不懈努力和計算機處理數據能力的不斷提高，深度學習算法的模型層次不斷加深，結構日趨復雜，在圖像識別上對識別效果的提升最為顯著。從傳統的CNN，到后來的DPM、RCNN，再到現如今AlexNet、GoogLeNet、ResNet等，許多網絡結構都能在不同程度上實現對圖像的準確識別。如今圖像識別已經成為一項較為成熟的技術，在網絡搜索、軍事、醫療、安防、智能家居等領域均有廣泛應用。

智能家居提高了人們的生活質量、工作效率，體現了科技性和人性化。作為智能家居系統中不可或缺的一部分，智能冰箱與人們的生活息息相關。在傳統冰箱的使用中，食材管理成為一直困擾家家戶戶的問題，靠里面放置的食材時常因為用戶看不到而變質，長此以往將很嚴重的浪費。通過智能冰箱實現對食材的自主識別，并搭建服務器實現食材管理，是實現健康飲食的關鍵一步。。

發明內容

針對現有技術問題中的一種或多種，在本發明的一個方面，本發明提供一種基于深度學習的食材圖像識別模塊的構建方法，包括：

(1)獲取大量食材圖像，根據食材信息為所述食材圖像分別設定標簽，構建帶標簽的食材圖像數據庫；

(2)構建初始深度學習網絡模型；

(3)將所述食材圖像數據庫中食材圖像輸入初始深度學習網絡模型，訓練獲得食材圖像識別模塊。

根據本發明的一個方面，所述步驟(2)中，初始深度學習網絡模型采用Mask RCNN網絡模型，所述Mask RCNN網絡模型包括VGG、RPN、ROIAlign、卷積輸出四部分，優選地，

所述VGG部分用于接受圖像輸入，通過卷積、池化過程產生特征圖譜輸出，其結構式如下：

input->[conv_1*α->max_pool]*β->[conv_1*λ->conv_2->max_pool]*γ->fmap式中，input表示輸入，conv_1表示卷積層，卷積核大小為3*3，max_pool表示最大池化，conv_2表示卷積層，卷積核大小為1*1，fmap為VGG網絡的特征圖譜輸出，其中α、β、λ和γ為特定結構的重復次數，均為整數，且滿足：α>0，優選α＝2；β>0，優選β＝2；λ>0，優選λ＝2；γ>0，優選γ＝2；

所述RPN部分用于接受VGG產生的特征圖譜，采用不同大小的滑窗生成特征向量，然后通過分類核、區域核產生分類圖譜、區域界定圖譜，用于后續內容分類與區域界定，結構式如下：