[發明專利]一種基于多模型融合的水果識別方法

在審

• 申請號: 201811385058.7
• 申請日: 2018-11-19
• 公開（公告）號: CN109543748A
• 公開（公告）日: 2019-03-29
• 發明（設計）人: 張衛山;耿祖琨;徐亮
• 申請（專利權）人: 中國石油大學（華東）
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提出了一種基于多模型融合的水果識別方法，包括如下介紹：利用多模型融合方法進行模型訓練，采用SSD進行模型訓練，模型網絡結構采用VGG16、ResNet以及VGG19相結合的方法，對于它們的訓練結果不做輸出處理，而是將它們輸出的bounding box和目標類別的概率，以及區域重疊面積超過95％的bounding box目標認為是不同模型識別出的同一個物體。每一個模型的輸出都是10維的概率向量，將實際得到的這三個向量進行拼接作為BP神經網絡的輸入。基于多模型識別的水果識別模型將多種模型識別技術進行整合，調整殘差網絡，解決了在過深的深度學習網絡中無法進行有效傳播梯度的問題。

技術領域

本發明涉及物聯網、水果識別、多模型融合技術和深度學習，具體涉及到一種基于多模型融合的水果識別方法。

背景技術

目前已經有一些利用深度學習的方法進行冰箱下水果識別的方法，無論是早期的R-CNN、SPPNET和Fast R-CNN到現在的Faster R-CNN、YOLO、SSD，它們都可以完成水果鑒別的工作。與Faster R-CNN相比，SSD和它最大的區別是SSD不需要創建proposal，沒有了這個過程，自然在很大程度上提升了識別的效率。針對目標的比例有差異的檢驗，古老的方法是先將圖片變換成不一樣的尺寸，然后分別檢驗，之后把結果組合一下。而SSD方法使用有一定差異的 convolution layer的特征圖譜組合起來也能達到和預期一樣的結果。冰箱的保鮮層中食品種類繁雜，水果的種類也是多種多樣，而且水果的組合差異也非常大，這對識別效率提出了很高的要求，本課題利用 SSD進行水果識別。SSD具有多種維度下運算特性的能力，評價這種度量下的模塊所擁有的幾率和它緊密關聯的偏移量，這個方法能夠traversal所有region。SSD取得的是圖片里的矩形region以及該region 相應的種類以及種類的概率。SSD的特點是將圖片的每個比例的不同地方的特性執行回歸操作，效率得到了提升，又能確保精準度。BP neural network在運算時，它由兩部分組成，一部分是正向的一部分是反向的。正向傳播的是信息，反向傳播的是誤差。而在正向的輸送處理中，信息由輸入層到隱藏層經過層層的處理，最終到達輸出層，每層神經元的狀態不會受到跨層影響。如果在輸出層的輸出與預期的值相差過于懸殊，那么就會進行反向傳播，將錯誤差值信號沿著本來的路線反饋回去，再逐步改進每層的神經元的權值，使得錯誤差值信號達到最小化。BP神經網絡可以用不確定的輸出向量把它的輸入向量相互關聯在一起。BP神經網絡非常適合本課題的使用場景。

發明內容

為解決現有技術中的缺點和不足，本發明提出了一種基于多模型融合的水果識別方法，通過采用多模型融合技術和深度神經網絡水果識別方法，削減數據冗余，調整殘差網絡，以更加精確的進行水果識別。

本發明的技術方案為：

設u、v、w分別是SSD(ResNet)、SSD(VGG16)和SSD(VGG19) 的輸出經過轉換并歸一化后的結果，它們作為BP神經網絡的三個 input，本發明設計的網絡中只含有一個隱含層，隱藏層中有20個節點，Input layer包含了30個節點，output layer有10個節點如圖1的模型結構。本發明采用了線性傳遞函數作為output layer和隱藏層神經元的傳遞函數，設神經元狀態為X_i，output為Y_i，它們的關系是線性的變化關系，即

Y_i＝f(X_i)＝X_i (1-1)

設D₁，D₂…，D₁₀分別為BP神經網絡的輸入，對應的輸出為

E_i＝D_i，i＝1,2…,10 (1-2)

對于隱含層，第j個節點的輸入

第j個節點的輸出