[發明專利]一種基于遷移學習的大規模食材圖像分類方法

有效

• 申請號: 201810332217.0
• 申請日: 2018-04-13
• 公開（公告）號: CN108647702B
• 公開（公告）日: 2021-06-01
• 發明（設計）人: 肖光意;劉歡;劉毅;吳淇;黃宗杰;陳浩
• 申請（專利權）人: 湖南大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08
• 代理公司: 成都東恒知盛知識產權代理事務所(特殊普通合伙) 51304
• 代理人: 何健雄

1.一種基于遷移學習的大規模食材圖像分類方法，其特征在于，所述分類方法包括以下步驟：輸入一張原始圖片，通過遷移學習的知識，輸出包含兩方面的信息，其一是對收貨環境的識別結果，其二是對食材種類的識別結果；在基于多任務的先驗樹CNN模型的前向傳播之后，由最后一個全連接層產生的聯合特征將被輸入到不同的分類任務中；

所述分類方法具體包括以下步驟：在多任務分類CNN模型上增加一人為設定的樹形結構，根據這個樹形結構，首先設置父類節點，然后讓新加入的子類能夠直接獲得父類的特征；在優化聯合損失層并共享視覺特征之后，CNN模型在反向傳播過程中將傳遞其相關參數；將收集到的食材圖像用c∈{0，1}來標志是否為干凈收貨環境下的圖片，用多類標簽k∈{1，...K}來標志食材種類，式中K是所有類別的數量；最后迭代地訓練整個網絡和參數直到收斂；

測試時，首先驗證圖像是否為干凈的收貨環境圖片；如果圖像被預測為非干凈的圖像，則系統將拍攝新圖像以繼續該過程，直到在給定時間內找到干凈圖像；其次，如果圖像被預測為蔬菜類別，則該模型將按給定順序過濾蔬菜中的其他標簽；最后，通過結合了訂單、重量信息的先驗樹CNN模型，干凈的圖像將得到食材類別和預測的分數；

所述先驗樹CNN模型其公式表達方式如下：

首先假設已經擁有一棵先驗樹，所有的食材類別是一個三層的樹組成的，先驗樹一共有K+1個葉子節點，分別對應的是K個食材類別標簽和1個被忽略標簽；這些葉子節點與第二層的7個父類節點相連，K個食材類別具有4個父類，包括S1，S2，S3，S4，收貨環境類別被分為3組，包括N1，N2，N3；對于這種層次分類，如果有高置信度將輸入圖像分類為蔬菜，那么過濾掉訂單中其他類別進行預測，不需要關注肉和水產等類別了；

在softmax函數之前，葉子標簽節點k與權重向量關聯；每一個超類節點s和向量關聯，式中s∈{1，2，3，4}；例如，β_cabbage和β_carrot記錄了與α_vegatable之間的偏差；為β定義下面的生成模型：

這個先驗表達式說明了類別之間的關系，k上的條件分布表示為：

通過MAP推斷{W，β，α}的值，最大化：

logP(k|I，t，W，β)+logP(k|I，W，β)+logP(W)+logP(β|α)+logP(α)； (3)

在損失函數的角度來看，最小化：

在這里，通過固定α的值為0，損失函數將降低到標準損失函數，令C_s＝{k|parant(k)＝s}，那么

因此，公式(4)中的損失函數通過迭代地進行以下兩個步驟來優化；首先，最大化W和β，使用標準損失函數的標準隨機梯度下降將α固定；其次，通過公式(5)固定β，從而最大化α。