[發明專利]基于深度學習目標檢測和度量學習的開放性菜品識別方法

在審

• 申請號: 202011026245.3
• 申請日: 2020-09-25
• 公開（公告）號: CN112115906A
• 公開（公告）日: 2020-12-22
• 發明（設計）人: 陳曉鵬;梁永堅;趙曉紅
• 申請（專利權）人: 廣州市派客樸食信息科技有限責任公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州致信偉盛知識產權代理有限公司 44253
• 代理人: 伍嘉陵

1.一種基于深度學習目標檢測和度量學習的開放性菜品識別方法，其特征在于，包括以下步驟：

S1，建立特征檢索庫，通過度量學習訓練出可提取各種類別菜品圖像的特征向量并錄入特征檢索庫的識別模型；

S2，采集菜品圖像，通過目標檢測網絡訓練出的目標檢測模型將菜品圖像中的菜品進行定位框選出來；

S3，將框選出來的菜品裁剪形成菜品子圖，通過識別模型提取菜品子圖中的特征向量與特征檢索庫內的特征向量一一進行相似度搜索，比較兩特征向量的距離，獲取當前菜品類別，若未能識別出有對應菜品類別的，人工輔助判斷當前菜品真實類別是否已錄入特征檢索庫，若沒有則添加新菜品類別，若有則進行價格糾正；

S4，識別模型將提取到的新菜品類別的特征向量上傳更新到特征檢索庫存儲。

2.根據權利要求1所述的基于深度學習目標檢測和度量學習的開放性菜品識別方法，其特征在于，通過度量學習訓練的識別模型包括負責早餐菜品識別的早餐識別模型和負責正餐菜品識別的正餐識別模型。

3.根據權利要求1所述的基于深度學習目標檢測和度量學習的開放性菜品識別方法，其特征在于，所述步驟S2還包括以下步驟：對菜品采集連續的多幀圖片，求取每一幀圖片中各個菜品的中心坐標，利用曼哈頓距離公式計算連續的前后兩幀圖片中同一個菜品對應的中心坐標差值，直到該中心坐標差值小于設定閾值，取最后一幀圖片進行菜品識別。

4.根據權利要求1所述的基于深度學習目標檢測和度量學習的開放性菜品識別方法，其特征在于，所述步驟S3菜品識別還包括以下步驟：目標檢測模型返回菜品定位信息，裁剪各個菜品子圖，對每個菜品子圖分別進行隨機旋轉和翻轉，結合亮度和對比度隨機調整得到多張增強圖片，使用基于度量學習訓練的識別模型分別提取各個菜品對應的所有圖片的特征，并求其特征均值，用求得的特征均值與特征檢索庫里的特征一一進行相似度計算，根據檢索庫中與之相似度最大的特征所對應的菜品ID，匹配菜品的類別。

5.根據權利要求1所述的基于深度學習目標檢測和度量學習的開放性菜品識別方法，其特征在于，還包括以下步驟：在菜品識別時，當有識別到有新品增加時，及時在菜品識別界面報警提醒，轉由人工進行選擇更新菜品特征到特征檢索庫內。