[發(fā)明專利]一種基于圖像語義深度學習的餐飲健康分析方法

在審

• 申請?zhí)枺?/td>: 202010836022.7
• 申請日: 2020-08-19
• 公開（公告）號: CN112650866A
• 公開（公告）日: 2021-04-13
• 發(fā)明（設計）人: 戴超;盛斌;朱雙奇;潘思源
• 申請（專利權）人: 上海志唐健康科技有限公司
• 主分類號: G06F16/53
• 分類號: G06F16/53;G06F16/583;G06F16/55;G06K9/62;G06N3/04;G06N3/08;G16H20/60
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明提供了一種基于圖像語義深度學習的餐飲健康分析方法，以菜譜圖像作為輸入，能夠實現高精度的菜品圖像分類和菜品營養(yǎng)素計算。在菜品圖像分類部分，本發(fā)明構建了可學習菜譜間距離的菜品圖像分類網絡，網絡以菜品圖像和菜譜信息作為輸入，在學習圖像信息的同時，深入理解菜譜中原料部分的信息，進一步提升分類準確率。在營養(yǎng)素計算部分，對圖像進行像素級語義分割，精確每個像素點代表的圖像信息，明確每張圖片中各類原料之間的比例，進一步修正菜譜中原料含量。對于同樣的菜品，不同圖片會返回不同營養(yǎng)素含量信息，使得營養(yǎng)素計算模塊更精確、科學。

技術領域

本發(fā)明主要涉及計算機視覺相關技術，具體涉及基于深度學習的菜品圖像識別和菜品圖像語義分割技術。

背景技術

在當今社會，飲食健康已經是普通人民群眾都在關注和關心的一個話題。合理健康的飲食也可以幫助人們預防糖尿病等飲食相關的疾病。然而，在現階段，飲食健康的科普和普及仍然不夠，大多數人對于真正科學的飲食健康了解仍然不足。因此飲食健康需要的不僅僅是關注度的提升，更重要的是有一個幫助群眾科學的認識餐飲并給出具有醫(yī)學價值的指導建議的途徑，群眾需要的不只是對飲食上一個感性的認識，更需要具體數字和數據上的指導。

在菜品分析系統(tǒng)方面，現階段相關餐飲分析系統(tǒng)大多存在兩種缺陷：需要用戶具備菜品相關知識，如原材料、菜譜等；提供的營養(yǎng)素信息不夠全面，缺少科學的醫(yī)學指導建議。

在菜品分析算法方面，目前主流的菜品圖像分析技術有兩種：

(1)借助卷積神經網絡訓練一個單標簽分類器，一種菜品對應一個類別，每張圖片得出一個類別。由于菜品識別任務中圖片往往具有高相似性和復雜度，這類方法往往無法取得一個很好的效果。

(2)以卷積神經網絡為骨架，訓練一個多標簽分類器，每一種原料對應一個類別，每張圖片得出多個類別。這類方法需要大量額外人工信息，如菜品原料之間的先驗關系等，同時也沒有對菜譜圖片進行深入學習，在準確率上仍具有提升空間。

同時，目前沒有對于菜品圖片原料的像素級語義分割，對于菜品營養(yǎng)素計算停留在表面的針對菜品的數據查詢，即同種菜品的不同圖片得出的單位質量營養(yǎng)素是相同的，無法做到針對用戶圖片的精細分析與計算。

發(fā)明內容

本發(fā)明是一款可以滿足在飲食健康上的大部分日常需求的餐飲健康分析系統(tǒng)。它能夠根據查詢輸入的菜品圖片識別對應菜品名稱及其菜譜。之后，更進一步對圖片進行像素級語義分割，理解圖片中每個像素包含的菜品原料信息，從而精確的計算出菜品的營養(yǎng)素含量信息。本發(fā)明僅僅需要輸入菜品圖片及其質量，輸出營養(yǎng)元素參考表。

本發(fā)明的技術方案如下：

(1)目標檢測：用戶輸入圖片后，通過目標檢測方法檢測出碗等容器的位置，進一步精確菜品所在位置，得出菜品的包圍框，去除背景等無關的影響因素。

(2)可學習菜譜間距離的菜品識別：根據步驟(1)得到菜品的包圍框后，通過一個可學習類間距離的分類模型，同時學習圖片和菜譜信息，將兩者匹配，最終得出與圖片匹配度最高的五種菜品及其菜譜供用戶選擇。

(3)菜品營養(yǎng)素計算：得出菜品名稱及菜譜后，對于有多種主要食材的菜品，進行像素級的語義劃分，將菜品原料根據顏色進行劃分，進一步精細各個原料所占比例，從而更精確的計算營養(yǎng)素含量。

本發(fā)明的優(yōu)勢及特征在于，該方法無需能夠自動對菜品圖像進行有效區(qū)域提取，并采用識別模型分析菜品種類；通過圖片和質量獲得相關營養(yǎng)素信息的同時，借助語義分割模型，進一步精確計算營養(yǎng)素含量。

附圖說明

圖1為方法框架及流程展示圖

圖2為目標檢測模型效果展示圖

圖3為可學習類間距離分類模型框架圖

圖4為圖3中模型得出的菜譜之間關系圖