[發明專利]一種基于卷積神經網絡的多模型對成品菜的識別方法

有效

• 申請號: 201811384497.6
• 申請日: 2018-11-20
• 公開（公告）號: CN109684922B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 吳健;張久成;王文哲;陸逸飛;吳福理
• 申請（專利權）人: 浙江大學山東工業技術研究院
• 主分類號: G06V20/68
• 分類號: G06V20/68;G06V10/764;G06V10/82;G06V10/50;G06V10/774;G06N3/047;G06N3/048;G06N3/0464;G06N3/08
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 胡紅娟

本發明公開了一種基于卷積神經網絡的多模型對成品菜的識別方法，包括：收集成品菜的圖像，根據菜品種類進行標簽標注；對圖像進行白平衡和均衡化處理，得到訓練數據集；構建至少兩個不同的卷積神經網絡模型，用訓練數據集分別進行迭代訓練，得到訓練完成后的卷積神經網絡模型；將待測圖像分別輸入訓練完成后的卷積神經網絡模型進行識別，每個卷積神經網絡模型輸出菜品種類中每個類別對應的概率值；用投票算法計算不同卷積神經網絡模型輸出的同一類別對應的概率值的平均值，選取平均值中的最高值所對應的類別作為識別結果。該識別方法避免了人工選取特征和傳統特征度量方法適應性不強的缺點，剔除特征中的冗余信息，利于提升識別的準確性。

技術領域

本發明屬于數據識別技術領域，特別涉及一種基于卷積神經網絡的多模型對成品菜的識別方法。

背景技術

基于卷積神經網絡技術的人臉識別、行人識別、車牌識別等產品，可應用與安檢系統、門禁系統、安防系統、自動停車場等，但由于其應用場合的特殊性，在普通日常生活中推廣應用難道較高。

S.Ysng?et?al.提出的一種識別快餐食物的系統，Yoshiyuki?et?al.針對日餐提出的具有現有類別適應性的系統。但這些系統對品種繁復多樣的中餐來說并不適用，且對圖像中目標位置、圖像亮度等有特殊要求，操作相對復雜。

公開號為CN106845527A的中國專利文獻公開了一種菜品識別方法，包括以下步驟：1)獲得web請求，服務器相應web請求，獲取相應圖像；2)保存圖像，獲取輸入數據流，生成圖像文件名并保存至磁盤；3)圖像預處理，對輸入的圖像進行尺寸調整和歸一化；4)使用預先訓練的卷積神經網絡進行處理，對圖像上的物體進行檢測及分類，如果沒有檢測到菜品則結束，如果檢測到菜品，則結合分類結果，輸出相應菜品信息。公開號為CN106096932A的中國專利文獻公開了基于餐具形狀的菜品自動識別系統的計價方法，通過容器作為媒介進行菜品識別。通過篩選拍攝的餐盤圖像中菜品區域的形狀和面積特征，分割餐盤中各個菜品；然后通過訓練卷積神經網絡得到分類器，直接識別菜品圖像來實現菜品識別。

上述方法中使用傳統的常規圖像識別方法和卷積神經網絡方法，如SURF、HOG、顏色特征等，而中餐成品菜顏色多樣，形態復雜，常規方法有一定的局限性，某些過程仍然需要人工選擇與矯正；淺層神經網絡因模型容量較小等原因容易欠擬合，而深層神經網絡比以上方法效果更優，一般可以取得較好的識別效果，但是可能因單一模型的性能和容量而限制其識別效果。因此，需要對圖像既有很好的適應性又有較好的識別效果的方法。

發明內容

本發明的目的在于提供一種基于卷積神經網絡的多模型對成品菜的識別方法，避免了人工選取特征和傳統特征度量方法適應性不強的缺點，剔除特征中的冗余信息，利于提升識別的準確性。

一種基于卷積神經網絡的多模型對成品菜的識別方法，包括以下步驟：

(1)收集成品菜的圖像，根據菜品種類進行標簽標注；

(2)對圖像進行白平衡和均衡化處理，得到訓練數據集；

(3)構建至少兩個不同的卷積神經網絡模型，用步驟(2)得到的訓練數據集分別進行迭代訓練，得到訓練完成后的卷積神經網絡模型；

所述的卷積神經網絡模型包括：

特征提取模塊，提取待測圖像的特征，輸出特征圖至PCA處理模塊和融合分類模塊；

PCA處理模塊，對輸入的特征圖進行特征信息提取，輸出特征信息至融合分類模塊；

融合分類模塊，包括全連接層和分類器，全連接層對輸入的特征圖和特征信息進行全連接計算，分類器對全連接層的輸出進行每個類別對應的概率值的預測計算；

(4)將待測圖像分別輸入訓練完成后的卷積神經網絡模型進行識別，每個卷積神經網絡模型輸出菜品種類中每個類別對應的概率值；