[發(fā)明專利]一種基于深度學(xué)習(xí)的食材辨識系統(tǒng)和食材辨識方法

在審

• 申請?zhí)枺?/td>: 201810432216.3
• 申請日: 2018-05-08
• 公開（公告）號: CN108846314A
• 公開（公告）日: 2018-11-20
• 發(fā)明（設(shè)計）人: 高忠科;黨偉東;常傳泉
• 申請（專利權(quán)）人: 天津大學(xué);天津科源科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京世衡知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11686
• 代理人: 肖淑芳

1.一種基于深度學(xué)習(xí)的食材圖像識別模塊的構(gòu)建方法，其特征在于：包括：

(1)獲取大量食材圖像，根據(jù)食材信息為所述食材圖像分別設(shè)定標(biāo)簽，構(gòu)建帶標(biāo)簽的食材圖像數(shù)據(jù)庫，優(yōu)選地，所述食材信息包括食材的顏色、類別、體積和數(shù)量；

(2)構(gòu)建初始深度學(xué)習(xí)網(wǎng)絡(luò)模型；

(3)將所述食材圖像數(shù)據(jù)庫中食材圖像輸入初始深度學(xué)習(xí)網(wǎng)絡(luò)模型，訓(xùn)練獲得食材圖像識別模塊。

2.如權(quán)利要求1所述的基于深度學(xué)習(xí)的食材圖像識別模塊的構(gòu)建方法，其特征在于：所述步驟(2)中，初始深度學(xué)習(xí)網(wǎng)絡(luò)模型采用Mask RCNN網(wǎng)絡(luò)模型，所述Mask RCNN網(wǎng)絡(luò)模型包括VGG、RPN、ROIAlign、卷積輸出四部分，

優(yōu)選地，

所述VGG部分用于接受圖像輸入，通過卷積、池化過程產(chǎn)生特征圖譜輸出，其結(jié)構(gòu)式如下：

input->[conv_1*α->max_pool]*β->[conv_1*λ->conv_2->max_pool]*γ->fmap式中，input表示輸入，conv_1表示卷積層，卷積核大小為3*3，max_pool表示最大池化，conv_2表示卷積層，卷積核大小為1*1，fmap為VGG網(wǎng)絡(luò)的特征圖譜輸出，其中α、β、λ和γ為特定結(jié)構(gòu)的重復(fù)次數(shù)，均為整數(shù)，且滿足：α>0，優(yōu)選α＝2；β>0，優(yōu)選β＝2；λ>0，優(yōu)選λ＝2；γ>0，優(yōu)選γ＝2；

所述RPN部分用于接受VGG產(chǎn)生的特征圖譜，采用不同大小的滑窗生成特征向量，然后通過分類核、區(qū)域核產(chǎn)生分類圖譜、區(qū)域界定圖譜，用于后續(xù)內(nèi)容分類與區(qū)域界定，結(jié)構(gòu)式如下：

式中，a_box表示滑窗，可視為一種步長為1的卷積核，rpn_out表示輸出的特征向量，cls_kernel表示分類核，reg_kernel表示區(qū)域核，二者本質(zhì)上均為卷積核，cls_out為分類特征圖譜，reg_out為區(qū)域界定特征圖譜；

所述ROIAlign部分用于接受RPN部分的區(qū)域界定，利用雙線性插值計算對應(yīng)于原圖的當(dāng)前特征圖中的像素點輸出，計算公式如下：

式中，x₁,y₁為原圖中像素點坐標(biāo)，x₂,y₂為當(dāng)前特征圖中像素點坐標(biāo)，X,Y為原圖大小，x,y為當(dāng)前特征圖大小；

所述卷積輸出部分包括卷積部分CONV和輸出部分，所述卷積部分CONV包括Fast RCNN模型和FCN模型，所述輸出部分包括分類輸出、區(qū)域界定輸出和圖像分割輸出；

和/或，所述步驟(2)中構(gòu)建初始深度學(xué)習(xí)網(wǎng)絡(luò)模型的方法為：獲取公開的用于圖像識別的已訓(xùn)練RPN模型和已訓(xùn)練Fast RCNN模型作為初始深度學(xué)習(xí)網(wǎng)絡(luò)模型；

和/或，所述步驟(3)具體操作方法為：

將所述食材圖像數(shù)據(jù)庫中的食材圖像分為訓(xùn)練樣本和測試樣本，優(yōu)選地，所述訓(xùn)練樣本為所述食材圖像數(shù)據(jù)庫中食材圖像的80％，其余20％食材圖像作為測試樣本；

將所述訓(xùn)練樣本輸入所述初始深度學(xué)習(xí)模型，通過反向傳播算法對所述已訓(xùn)練RPN模型進行參數(shù)更新，產(chǎn)生候選區(qū)域，利用訓(xùn)練樣本對所述已訓(xùn)練Fast RCNN模型再次進行訓(xùn)練，獲得進一步訓(xùn)練的Fast RCNN模型，通過所述進一步訓(xùn)練的Fast RCNN模型的卷積層提取輸入圖像的整體特征，得到輸入圖像的特征圖，結(jié)合參數(shù)更新后的RPN模型產(chǎn)生的候選區(qū)域得到圖像中候選區(qū)域的特征圖，對每一個候選區(qū)域使用ROIAlign進行像素校正，得到每個候選區(qū)域后對每個候選區(qū)域進行預(yù)測，得到待識別物體的類別與bounding box，同時使用FCN網(wǎng)絡(luò)對每個候選區(qū)域進行實例分割，預(yù)測每個像素點所屬類別，根據(jù)得到的圖像分割結(jié)果優(yōu)化模型結(jié)構(gòu)與參數(shù)，獲得基于Mask RCNN網(wǎng)絡(luò)模型的食材識別模塊；

優(yōu)選地，所述優(yōu)化模型結(jié)構(gòu)與參數(shù)的具體操作方法為：

確定模型結(jié)構(gòu)中的超參數(shù)數(shù)量及其取值范圍，構(gòu)成參數(shù)空間；

在確定的參數(shù)空間下執(zhí)行細菌覓食優(yōu)化算法，以模型在參數(shù)向量下的準(zhǔn)確率作為評價該向量的目標(biāo)函數(shù)；和

把所述細菌覓食優(yōu)化算法獲得的最優(yōu)參數(shù)向量輸出作為該模型的參數(shù)設(shè)置；

進一步優(yōu)選地，所述細菌覓食優(yōu)化算法的具體方法為：

初始化參數(shù)：給定算法中參數(shù)p,S,P_ed,C(i)的初始值，設(shè)定趨化步數(shù)N_C、復(fù)制次數(shù)N_re、消除分散次數(shù)N_ed，游泳長度N_S，其中參數(shù)p,S,P_ed,C(i)分別代表：優(yōu)化過程變量數(shù)量，細菌總數(shù)，消除擴散概率，隨機方向上的步長大小；

計算當(dāng)前細菌適應(yīng)值函數(shù)J(i,j,k,l)并初始化J_last＝J(i,j,k,l)，式中

J(i,j,k,l)＝J(i,j,k,l)+J_CC(θⁱ(j,k,l),P(j,k,l))

其中，J_CC(·)為趨化函數(shù)，i,j,k,l分別代表菌群數(shù)目判斷環(huán)節(jié)、趨化環(huán)節(jié)、復(fù)制環(huán)節(jié)、消除擴散環(huán)節(jié)中的索引,簡稱判斷索引、趨化索引、復(fù)制索引、消除擴散索引，θⁱ(·)代表第i個細菌在參數(shù)空間中的表示，P(·)代表除θⁱ(·)外其余細菌在參數(shù)空間中的表示；

細菌按某方向向量移動：

其中θⁱ(·)是第i個細菌在參數(shù)空間中的表示，j,k,l分別是趨化索引、復(fù)制索引、消除擴散索引，C(i)是隨機方向上的步長大小，△(i)表示參數(shù)空間θ中的隨機方向向量；

計算移動后的適應(yīng)值函數(shù)J(i,j+1,k,l)，判斷J_last與J(i,j+1,k,l)，做如下代換：

J_last＝min{J(i,j+1,k,l),J_last}

并將游動次數(shù)迭代值m加1，其中i,j,k,l分別代表菌群數(shù)目判斷環(huán)節(jié)、趨化環(huán)節(jié)、復(fù)制環(huán)節(jié)、消除擴散環(huán)節(jié)中的索引,簡稱判斷索引、趨化索引、復(fù)制索引、消除擴散索引；

細菌進行N_S次游動后，切換至下一細菌游動，同時菌群判斷數(shù)i加1；菌群全部完成游動后，菌群判斷數(shù)i重置為0，并進行一次趨化，趨化計數(shù)值j加1，菌群進行下一組游動；趨化表示菌群中優(yōu)良個體對其他個體的吸引及速度更新，該過程描述如下：

其中，J_cc(θ,P(j,k,l))表示趨化函數(shù)，S是細菌總數(shù)，p是該優(yōu)化過程變量數(shù)量，表現(xiàn)在單個細菌中，有θ＝[θ₁,θ₂,...,θ_m,...,θ_p]^T，是參數(shù)空間中一點，d_attractant w_attractant,h_reprllant,w_repellant是描述系數(shù)，θ是細菌群中優(yōu)良個體，i,j,k,l分別代表菌群數(shù)目判斷環(huán)節(jié)、趨化環(huán)節(jié)、復(fù)制環(huán)節(jié)、消除擴散環(huán)節(jié)中的索引,簡稱判斷索引、趨化索引、復(fù)制索引、消除擴散索引；

菌群完成N_c次趨化后，趨化計數(shù)值j重置為0，并進行一次復(fù)制，復(fù)制計數(shù)值k加1，菌群進行下一組趨化；復(fù)制表示健康的細菌分裂成兩個子細菌，停留在原來搜索空間位置；和

菌群完成N_re次復(fù)制后，復(fù)制計數(shù)值k重置為0，并進行一次消除擴散，消除擴散計數(shù)值l加1，菌群進行下一組復(fù)制；菌群完成N_ed次消除擴散后算法結(jié)束，得到最優(yōu)參數(shù)向量輸出；消除擴散表示以消除擴散概率P_ed去除細菌群中的某些細菌，達到選擇作用，同時以消除擴散概率P_ed把細菌群中的某些細菌分散到整個搜索空間中，避免陷入局部最優(yōu)解；

和/或，所述步驟(3)中，所述訓(xùn)練過程中使用的損失函數(shù)表達式為：

L＝L_cls+L_reg+L_mask，

其中L為總損失函數(shù)，L_cls為分類損失函數(shù)，L_reg為區(qū)域界定損失函數(shù)，L_mask為圖像分割損失函數(shù)，

式中，

其中N_cls表示分類層的歸一化，p_i為第i個anchor的目標(biāo)預(yù)測概率值為ground truth的標(biāo)簽值，當(dāng)?shù)趇個anchor為正標(biāo)簽時為1，當(dāng)?shù)趇個anchor為負標(biāo)簽時為0；

其中λ為平衡權(quán)重，N_reg表示回歸層的歸一化，t_i為預(yù)測的bounding box參數(shù)化坐標(biāo)(t_x,t_y,t_w,t_h)的向量，為第i個anchor為正標(biāo)簽時對應(yīng)的bounding box參數(shù)化坐標(biāo)的向量，R是Smooth L1函數(shù)，其計算公式為

圖像分割損失函數(shù)是對每一個像素用Sigmoid求二值交叉熵，得到平均的二值交叉熵誤差L_mask；對于每一個m×m大小的候選區(qū)域，當(dāng)所有類別為K時，F(xiàn)CN層分支有一個K×m²維的輸出，對于每個候選區(qū)域，如果檢測到候選區(qū)域?qū)儆谀囊活悾瑒t用哪一個分支的二值交叉熵作為誤差值進行計算，滿足以下表達式：

L_mask(cls_k)＝Sigmoid(cls_k)

其中cls_k為對應(yīng)第k類的區(qū)域輸出，Sigmoid表示平均二值交叉熵計算。