[發明專利]跨模態注意力機制的食品營養成分含量預測方法及系統

在審

• 申請號: 202210027210.4
• 申請日: 2022-01-11
• 公開（公告）號: CN114529790A
• 公開（公告）日: 2022-05-24
• 發明（設計）人: 侯素娟;邵文靜;李星卓;劉文潔
• 申請（專利權）人: 山東師范大學
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/774;G06V10/766;G06V10/82;G06V20/68;G06N3/04;G06N3/08;G16C20/20;G16C20/70;G06K9/62
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 閆圣娟

本發明公開一種跨模態注意力機制的食品營養成分含量預測方法及系統，包括：對食品圖像樣本集標注營養成分及含量，以此對預測模型進行訓練；對待測食品圖像進行多模態特征提取，對每個模態的特征映射圖進行注意力映射，得到權重映射圖，將任意一個模態的特征映射圖與其他模態的權重映射圖進行外積，將外積結果與該模態的特征映射圖進行相加，以此進行特征融合；根據融合后的特征圖，采用預測模型得到待測食品圖像中每種營養成分的含量。通過提取食品圖像的多模態特征；同時采用注意力多模態特征融合的方式進行營養成分含量的預測，提升預測精度與速度。

技術領域

本發明涉及食品營養評估技術領域，特別是涉及一種跨模態注意力機制的食品營養成分含量預測方法及系統。

背景技術

本部分的陳述僅僅是提供了與本發明相關的背景技術信息，不必然構成在先技術。

針對食品營養含量的評估，專業的食品營養評估人員對食品營養含量估計的準確性略有欠缺，同時專業人員不能夠滿足人們日常食品營養評估的需求。因此，為緩解營養評估專業人員短缺，提高營養評估的準確性和高效性等問題，出現大量智能手機圖像的膳食評估應用程序、食品營養估計系統等，例如FatSceret、bitesnap、keenoa，雖然能夠粗略的計算卡路里的含量，但是需要人為的稱重并手動輸入份量等信息，這個過程繁瑣、耗時，同時容易出現錯誤，而且食品種類的識別、重疊以及份量估計都會影響到營養估計的準確性，所以這些應用程序和系統在準確性和高效性上仍然欠缺。

目前，一些端到端的食品營養估計的方法，基于單張RGB圖像進行營養含量的估計，或者是將RGB和深度圖像進行簡單的相加，以預測卡路里、質量、碳水、蛋白質以及脂肪的含量。雖然證明了基于食物圖像進行營養評估的可行性，但是未能充分挖掘用于營養預測的圖像特征，沒有得到更魯棒性的預測結果。再者這些方法需要一系列復雜的操作，存在步驟繁瑣、速度慢等問題。在營養評估準確度、速度等方面，現有的方法不能夠滿足端到端的、快速有效的營養評估的要求。

發明內容

為了解決上述問題，本發明提出了一種跨模態注意力機制的食品營養成分含量預測方法及系統，通過提取食品圖像的多模態特征；同時采用注意力多模態特征融合的方式進行營養成分含量的預測，提升預測精度與速度。

為了實現上述目的，本發明采用如下技術方案：

第一方面，本發明提供一種跨模態注意力機制的食品營養成分含量預測方法，包括：

對食品圖像樣本集標注營養成分及含量，以此對預測模型進行訓練；

對待測食品圖像進行多模態特征提取，對每個模態的特征映射圖進行注意力映射，得到權重映射圖，將任意一個模態的特征映射圖與其他模態的權重映射圖進行外積，將外積結果與該模態的特征映射圖進行相加，以此進行特征融合；

根據融合后的特征圖，采用預測模型得到待測食品圖像中每種營養成分的含量。

作為可選擇的實施方式，對待測食品圖像進行多模態特征提取的過程包括，采用ResNet-101網絡為主干網絡，提取到四個層級的RGB模態特征和深度模態特征。

作為可選擇的實施方式，對待測食品圖像進行多模態特征提取的過程包括，將提取的多模態特征經1×1的卷積層降維后，每個模態特征經兩個殘差卷積單元得到特征映射圖。

作為可選擇的實施方式，對每個模態的特征映射圖進行注意力映射的過程包括，將特征映射圖經全局平均池化、1×1卷積重組和激活函數后得到權重映射圖。

作為可選擇的實施方式，將每個模態分支下的融合特征經過卷積層后進行相加，得到最終的融合特征圖，將融合后的特征圖經鏈式殘差池進行上下文信息的捕獲。

作為可選擇的實施方式，所述營養成分包括卡路里、質量、脂肪、蛋白質以及碳水。