[發明專利]一種基于圖像語義深度學習的餐飲健康分析方法

在審

• 申請號: 202010836022.7
• 申請日: 2020-08-19
• 公開（公告）號: CN112650866A
• 公開（公告）日: 2021-04-13
• 發明（設計）人: 戴超;盛斌;朱雙奇;潘思源
• 申請（專利權）人: 上海志唐健康科技有限公司
• 主分類號: G06F16/53
• 分類號: G06F16/53;G06F16/583;G06F16/55;G06K9/62;G06N3/04;G06N3/08;G16H20/60
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于圖像語義深度學習的餐飲健康分析方法，其特征包括以下步驟：

(1)輸入一張圖片，通過目標檢測方法檢測出碗等容器的位置，進一步精確菜品所在位置，得出菜品的包圍框，去除背景等無關的影響因素。

(1)菜品圖像識別：將去除背景的菜品圖像作為輸入，通過一種可識別菜譜間距離的分類網絡，將菜品圖像和菜譜映射到同一域，從而得出菜品圖像和菜譜之間的距離，進一步得出和圖像最接近的五份菜譜。

(2)菜品營養素計算與修正：對菜品圖像進行像素級圖像語義分割，明確每個像素屬于背景或某種菜品原材料，從而進一步修正菜譜，精確營養素含量計算。

2.根據權利要求1所述的一種可識別菜譜間距離的分類方法，其特征在于，所述的方法還包括：

(1)本發明中菜品分類模型由圖像編碼器和文本編碼器兩部分構成，分別將圖片和菜譜編碼為512維的向量，并借助文本編碼器學習菜譜之間距離關系；

(2)采用cosine loss作為損失函數，使得圖像編碼器結果與文本編碼器更接近；

(3)將兩個編碼器所的向量的點積作為圖片和菜譜之間的匹配分數，可以提供任意菜譜和菜品圖片的匹配分數。

3.根據權利要求1所述的菜品營養素計算方法，其特征在于，所述的方法還包括：

(1)首先，本發明將菜品食材按照顏色分為紅、黃、綠、黑、白五類；

(2)然后，采用訓練語義分割網絡針對菜品圖像中每一個像素點進行分類，分類結果為紅、黃、綠、黑、白和非菜品六類，返回各類食材之間的像素比例；

(3)根據返回的像素比例關系進一步修正菜譜中原料含量。

4.根據權利要求3所述的菜譜原料修正方法，其其特征在于，所述的方法還包括：

本發明定義標準菜譜，對于標準菜譜中名稱R的菜品，將其原料被表述為(ingre_red,ingre_yellow,ingre_green,ingre_black,ingre_white,ingre_other)，它們分別表示對應六類分類結果，這些食材在標準菜譜中對應的質量為m＝(m_red,m_yellow,m_green,m_black,m_white,m_other)，定義R在DIMAX數據集中的第i張圖片中各類食材的比例為：

其中表示在R的第i張圖片中對應食材所占的像素大小；

進一步計算出在R中各類食材的體積比例V為：

其中n為DIMAX數據集中R的圖片的總數；

對于用戶輸入的R的圖片，經過圖像語音分割模型得出實際各類食材比例為V′，實際應有質量為m′，則以顏色為c的食材為例：

其中i,c∈{red,yellow,green,black,white}，m′_c即為修正后，顏色為c的食材的質量。