[發明專利]基于度量學習的菜品識別方法及裝置

有效

• 申請號: 202010070065.9
• 申請日: 2020-01-21
• 公開（公告）號: CN111274972B
• 公開（公告）日: 2023-08-29
• 發明（設計）人: 常德杰;孔飛;劉邦長;李榮華;姜鵬;劉朝振;劉紅霞;張航飛;季科
• 申請（專利權）人: 北京妙醫佳健康科技集團有限公司
• 主分類號: G06V20/68
• 分類號: G06V20/68;G06V10/764;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 安衛靜

本發明提供了一種基于度量學習的菜品識別方法及裝置，涉及圖像識別和處理的技術領域，包括：先獲取待檢測圖像；若待檢測圖像為菜品圖像，則對待檢測圖像進行裁剪，得到包含菜品信息的目標圖像；然后將目標圖像輸入至目標卷積神經網絡中，得到目標圖像的特征信息；目標卷積神經網絡為基于度量學習訓練的網絡；再利用最近鄰方法從預設數據庫中選擇與目標圖像的特征信息相似的圖像特征信息；最后將圖像特征信息對應的菜品信息作為待檢測圖像的菜品信息。本發明基于度量學習訓練好的卷積神經網絡模型對菜品圖像的識別粒度小，進而可以區分特征相似的菜品。度量學習還可以通過優化特征空間，實現對類內距離大的菜品圖像的識別。

技術領域

本發明涉及圖像識別和處理技術領域，尤其是涉及一種基于度量學習的菜品識別方法及裝置。

背景技術

目前卷積神經網絡已經應用于菜品識別中，但是傳統的卷積神經網絡對類內距離大的菜品圖像無法進行類別聚類，對類間距離較小的菜品圖像無法進行區分，例如：無法將煮好的面條和包裝袋內的面條認定為同一類別，無法區分清蒸魚和紅燒魚。

發明內容

本發明的目的在于提供一種基于度量學習的菜品識別方法及裝置，可以保證對菜品圖像的識別粒度小，進而可以區分特征相似的菜品；可以最小化類內距離，進而實現對類內距離大的菜品圖像的有效識別。

本發明提供的一種基于度量學習的菜品識別方法，其中，包括：獲取待檢測圖像；若所述待檢測圖像為菜品圖像，則對所述待檢測圖像進行裁剪，得到包含菜品信息的目標圖像；將所述目標圖像輸入至目標卷積神經網絡中，得到所述目標圖像的特征信息；所述目標卷積神經網絡為基于度量學習訓練的網絡；利用最近鄰方法從預設數據庫中選擇與所述目標圖像的特征信息相似的圖像特征信息；將所述圖像特征信息對應的菜品信息作為待檢測圖像的菜品信息。

進一步的，通過以下方式判斷所述待檢測圖像是否為菜品圖像，具體包括：利用訓練好的二分類模型對所述待檢測圖像進行二分類判斷，得到類別判斷結果；基于所述類別判斷結果判斷所述待檢測圖像是否為菜品圖像。

進一步的，在利用訓練好的二分類模型對所述待檢測圖像進行二分類判斷之前，包括：訓練初始二分類模型，得到所述訓練好的二分類模型。

進一步的，訓練初始二分類模型，得到所述訓練好的二分類模型包括：獲取二分類訓練樣本；基于所述二分類訓練樣本，利用交叉熵損失函數優化所述初始二分類模型的參數，確定最優參數；將最優參數的初始二分類模型確定為所述訓練好的二分類模型。

進一步的，在將所述目標圖像輸入至目標卷積神經網絡中，得到所述目標圖像的特征信息之前，包括：利用度量學習中的損失函數Triplet?Loss訓練初始卷積神經網絡，得到所述目標卷積神經網絡。

進一步的，利用度量學習中的損失函數Triplet?Loss訓練初始卷積神經網絡，得到所述目標卷積神經網絡包括：獲取菜品圖像訓練樣本，其中，所述菜品圖像訓練樣本滿足預設尺寸規格；將所述菜品圖像訓練樣本輸入至初始卷積神經網絡中，以根據所述卷積神經網絡提取菜品圖像的特征信息；基于所述菜品圖像的特征信息和度量學習的損失函數Triplet?Loss，計算所述損失函數的函數值；將所述函數值最小時對應的初始卷積神經網絡確定為所述目標卷積神經網絡。

本發明提供的一種基于度量學習的菜品識別裝置，其中，包括：獲取模塊，用于獲取待檢測圖像；裁剪模塊，用于若所述待檢測圖像為菜品圖像，則對所述待檢測圖像進行裁剪，得到包含菜品信息的目標圖像；輸入模塊，用于將所述目標圖像輸入至目標卷積神經網絡中，得到所述目標圖像的特征信息；所述目標卷積神經網絡為基于度量學習訓練的網絡；選擇模塊，用于利用最近鄰方法從預設數據庫中選擇與所述目標圖像的特征信息相似的圖像特征信息；確定模塊，用于將所述圖像特征信息對應的菜品信息作為待檢測圖像的菜品信息。