[發(fā)明專利]一種基于卷積神經(jīng)網(wǎng)絡的多模型對成品菜的識別方法

有效

• 申請?zhí)枺?/td>: 201811384497.6
• 申請日: 2018-11-20
• 公開（公告）號: CN109684922B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設計）人: 吳健;張久成;王文哲;陸逸飛;吳福理
• 申請（專利權(quán)）人: 浙江大學山東工業(yè)技術研究院
• 主分類號: G06V20/68
• 分類號: G06V20/68;G06V10/764;G06V10/82;G06V10/50;G06V10/774;G06N3/047;G06N3/048;G06N3/0464;G06N3/08
• 代理公司: 杭州天勤知識產(chǎn)權(quán)代理有限公司 33224
• 代理人: 胡紅娟

1.一種基于卷積神經(jīng)網(wǎng)絡的多模型對成品菜的識別方法，包括以下步驟：

(1)收集成品菜的圖像，根據(jù)菜品種類進行標簽標注；

(2)對圖像進行白平衡和均衡化處理，得到訓練數(shù)據(jù)集；

(3)構(gòu)建至少兩個不同的卷積神經(jīng)網(wǎng)絡模型，用步驟(2)得到的訓練數(shù)據(jù)集分別進行迭代訓練，得到訓練完成后的卷積神經(jīng)網(wǎng)絡模型；

所述的卷積神經(jīng)網(wǎng)絡模型包括：

特征提取模塊，提取待測圖像的特征，輸出特征圖至PCA處理模塊和融合分類模塊；

PCA處理模塊，對輸入的特征圖進行特征信息提取，輸出特征信息至融合分類模塊；

融合分類模塊，包括全連接層和分類器，全連接層對輸入的特征圖和特征信息進行全連接計算，分類器對全連接層的輸出進行每個類別對應的概率值的預測計算；

(4)將待測圖像分別輸入訓練完成后的卷積神經(jīng)網(wǎng)絡模型進行識別，每個卷積神經(jīng)網(wǎng)絡模型輸出菜品種類中每個類別對應的概率值；

(5)用投票算法計算不同卷積神經(jīng)網(wǎng)絡模型輸出的同一類別對應的概率值的平均值，選取平均值中的最高值所對應的類別作為識別結(jié)果；

在步驟(2)中，所述的白平衡處理包括以下步驟：

(2-1)計算輸入圖像的三個顏色通道的亮度平均值；

(2-2)計算步驟(2-1)得到的三個亮度平均值的平均值K；

(2-3)使用平均值K分別除以三個顏色通道的亮度平均值，得到三個顏色通道的增益系數(shù)；

(2-4)三個顏色通道的亮度值乘以對應的增益系數(shù)得到更新的亮度值，得到白平衡處理后的圖像；

在步驟(2)中，所述的均衡化處理為：對白平衡處理后的圖像進行直方圖均衡化處理；

使用直方圖均衡化對圖像中的所有像素進行處理，計算公式如下：

其中，n_j是灰度級為j的像素個數(shù)，n是圖像中像素的數(shù)量總和，g是圖像中的灰度級總數(shù)，P_k是灰度級j在圖像中出現(xiàn)的概率；

所述的卷積神經(jīng)網(wǎng)絡模型為三個，分別以ResNet34、ResNet50和Inception_V3為基礎，在卷積層和全連接層之間加入PCA處理模塊，全連接層后加入分類器；

所述的PCA處理模塊提取特征信息的方法為：

其中為特征量的平均向量，x是輸入的特征，U是特征的協(xié)方差矩陣的特征向量組成的矩陣，Y為PCA處理后的特征信息。

2.根據(jù)權(quán)利要求1所述的基于卷積神經(jīng)網(wǎng)絡的多模型對成品菜的識別方法，其特征在于，所述的特征提取模塊提取待測圖像特征的方法為用卷積核遍歷圖像的像素進行計算：

其中，f(x,y)是輸入圖像，g(x,y)是卷積核函數(shù)，x與y為像素坐標值，m與n分別代表卷積核的長、寬。

3.根據(jù)權(quán)利要求1所述的基于卷積神經(jīng)網(wǎng)絡的多模型對成品菜的識別方法，其特征在于，所述的分類器為Softmax回歸模型。

4.根據(jù)權(quán)利要求1所述的基于卷積神經(jīng)網(wǎng)絡的多模型對成品菜的識別方法，其特征在于，在步驟(5)中，所述的投票算法計算平均值的方法為：

其中，i是菜品類別，N是菜品類別數(shù)量，P_{net_m}(i)是三個卷積神經(jīng)網(wǎng)絡模型中第m個模型輸出的N個概率值中對應類別i的概率值，P_ave(i)是三個卷積神經(jīng)網(wǎng)絡模型在類別i的平均概率值。