[發明專利]一種基于遷移學習的大規模食材圖像分類方法

有效

• 申請號: 201810332217.0
• 申請日: 2018-04-13
• 公開（公告）號: CN108647702B
• 公開（公告）日: 2021-06-01
• 發明（設計）人: 肖光意;劉歡;劉毅;吳淇;黃宗杰;陳浩
• 申請（專利權）人: 湖南大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08
• 代理公司: 成都東恒知盛知識產權代理事務所(特殊普通合伙) 51304
• 代理人: 何健雄

本發明公開了一種基于遷移學習的大規模食材圖像分類方法，包括以下步驟：輸入一張原始圖片，通過遷移學習的知識，輸出包含兩方面的信息，其一是對收貨環境的識別結果，其二是對食材種類的識別結果；在基于多任務的Prior?Tree CNN模型的前向傳播之后，由最后一個全連接層產生的聯合特征將被輸入到不同的分類任務中；本發明的基于遷移學習的大規模食材圖像分類方法，基于遷移學習方法對卷積神經網絡模型進行改進，并且提出Prior?Tree CNN模型來學習類結構和分類器參數，改進后的模型具有高效性、高準確率及普適性。

技術領域

本發明涉及一種基于遷移學習的大規模食材圖像分類方法，屬于食材圖像分類技術領域。

背景技術

隨著深度學習的飛速發展，圖像分類技術已發展成國內外計算機視覺領域比較熱門的研究方向，在越來越多的領域得到了應用；基于實際場景，如何構建好一種對圖像進行分類，并且準確率高、魯棒性好的方法是圖像分類技術走向實際應用不可避免的核心問題。

訓練分類器需要大量的樣例，當訓練樣例很少時，這就成為了一個難題，對于嚴重的類別不平衡問題，則使用誠信環境數據集中一組類的固有結構來呈現Priori tree CNN模型；例如，需要購買的四種食材，大紅椒與螺絲椒，小米椒和尖青椒有關，但只有一個螺絲椒的圖像，這將很難訓練一個分類器來區分螺絲椒和其他三個類別的數百張圖片；通過這些相關類別的標記示例，可以讓模型通過zero-shot更容易從一個螺絲椒示例學習任務；通過從相關類別遷移“知識”來學習新類別，只需要了解螺絲椒的特征；傳統的圖像分類包括KNN,SVM等方法，KNN是通過測量不同特征值之間的距離進行分類，KNN的缺點包括計算量大，樣本不平衡時預測偏差比較大等問題；SVM屬于監督學習，是一種二分類模型，它的基本模型是定義在特征空間上的間隔最大的線性分類器，SVM的缺點包括對于核函數的高維映射解釋力不強，尤其是徑向基函數；并且只給出了二類分類的算法，解決多分類問題存在困難；針對現有技術存在的問題，本發明基于遷移學習方法對卷積神經網絡模型(CNN)進行了改進，提出了Prior-Tree CNN模型來學習類結構和分類器參數，充分地利用大量已有的相關類別的標記數據、學習高效的相關類別的“知識”遷移，從而利用大樣本集上的訓練得到的分類器提高小樣本集物體分類的準確率和魯棒性，并且建立Meal-53小樣本數據集，其目的是在只有少數樣例的情況下提高分類準確度。

發明內容

為解決上述問題，本發明提出了一種基于遷移學習的大規模食材圖像分類方法，基于遷移學習方法對卷積神經網絡模型(CNN)進行改進，并且提出Prior-Tree CNN模型來學習類結構和分類器參數，改進后的模型具有高效性、高準確率及普適性。

本發明的基于遷移學習的大規模食材圖像分類方法，所述分類方法包括以下步驟：輸入一張原始圖片，通過遷移學習的知識，輸出包含兩方面的信息，其一是對收貨環境的識別結果，其二是對食材種類的識別結果；在基于多任務的Prior-Tree CNN模型的前向傳播之后，由最后一個全連接層產生的聯合特征將被輸入到不同的分類任務中。

進一步地，所述分類方法具體包括以下步驟：在多任務分類CNN模型上增加一人為設定的樹形結構，根據這個樹形結構，首先設置父類節點，然后讓新加入的子類能夠直接獲得父類的特征，在此情況下再訓練；這樣即使數據少，新加入的子類也能擁有不錯的效果；該模型也可以視為不同任務的特定softmax損失；在優化聯合損失層并共享視覺特征之后，CNN模型在反向傳播過程中將傳遞其相關參數；將收集到的食材圖像用c∈{0，1}來標志是否為干凈收貨環境下的圖片，用多類標簽k∈{1，...K}來標志食材種類，式中K是所有類別的數量；最后迭代地訓練整個網絡和參數直到收斂；

在實際過程中，學習過程與標準梯度下降幾乎相同，測試時，首先驗證圖像是否為干凈的收貨環境圖片；如果圖像被預測為非干凈的圖像，則系統將拍攝新圖像以繼續該過程，直到在給定時間內找到干凈圖像；其次，如果圖像被預測為蔬菜類別，則該模型將按給定順序過濾蔬菜中的其他標簽；最后，通過結合了訂單、重量等信息的Priori Tree CNN模型，干凈的圖像將得到食材類別和預測的分數。