[發明專利]跨模態注意力機制的食品營養成分含量預測方法及系統

在審

• 申請號: 202210027210.4
• 申請日: 2022-01-11
• 公開（公告）號: CN114529790A
• 公開（公告）日: 2022-05-24
• 發明（設計）人: 侯素娟;邵文靜;李星卓;劉文潔
• 申請（專利權）人: 山東師范大學
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/774;G06V10/766;G06V10/82;G06V20/68;G06N3/04;G06N3/08;G16C20/20;G16C20/70;G06K9/62
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 閆圣娟

1.跨模態注意力機制的食品營養成分含量預測方法，其特征在于，包括：

對食品圖像樣本集標注營養成分及含量，以此對預測模型進行訓練；

對待測食品圖像進行多模態特征提取，對每個模態的特征映射圖進行注意力映射，得到權重映射圖，將任意一個模態的特征映射圖與其他模態的權重映射圖進行外積，將外積結果與該模態的特征映射圖進行相加，以此進行特征融合；

根據融合后的特征圖，采用預測模型得到待測食品圖像中每種營養成分的含量。

2.如權利要求1所述的跨模態注意力機制的食品營養成分含量預測方法，其特征在于，對待測食品圖像進行多模態特征提取的過程包括，采用ResNet-101網絡為主干網絡，提取到四個層級的RGB模態特征和深度模態特征。

3.如權利要求1所述的跨模態注意力機制的食品營養成分含量預測方法，其特征在于，對待測食品圖像進行多模態特征提取的過程包括，將提取的多模態特征經1×1的卷積層降維后，每個模態特征經兩個殘差卷積單元得到特征映射圖。

4.如權利要求1所述的跨模態注意力機制的食品營養成分含量預測方法，其特征在于，對每個模態的特征映射圖進行注意力映射的過程包括，將特征映射圖經全局平均池化、1×1卷積重組和激活函數后得到權重映射圖。

5.如權利要求1所述的跨模態注意力機制的食品營養成分含量預測方法，其特征在于，將每個模態分支下的融合特征經過卷積層后進行相加，得到最終的融合特征圖，將融合后的特征圖經鏈式殘差池進行上下文信息的捕獲。

6.如權利要求1所述的跨模態注意力機制的食品營養成分含量預測方法，其特征在于，所述營養成分包括卡路里、質量、脂肪、蛋白質以及碳水。

7.如權利要求1所述的跨模態注意力機制的食品營養成分含量預測方法，其特征在于，使用平均絕對誤差和平均絕對誤差的百分比評估營養成分含量預測的準確度。

8.跨模態注意力機制的食品營養成分含量預測系統，其特征在于，包括：

訓練模塊，被配置為對食品圖像樣本集標注營養成分及含量，以此對預測模型進行訓練；

特征處理模塊，被配置為對待測食品圖像進行多模態特征提取，對每個模態的特征映射圖進行注意力映射，得到權重映射圖，將任意一個模態的特征映射圖與其他模態的權重映射圖進行外積，將外積結果與該模態的特征映射圖進行相加，以此進行特征融合；

預測模塊，被配置為根據融合后的特征圖，采用預測模型得到待測食品圖像中每種營養成分的含量。

9.一種電子設備，其特征在于，包括存儲器和處理器以及存儲在存儲器上并在處理器上運行的計算機指令，所述計算機指令被處理器運行時，完成權利要求1-7任一項所述的方法。

10.一種計算機可讀存儲介質，其特征在于，用于存儲計算機指令，所述計算機指令被處理器執行時，完成權利要求1-7任一項所述的方法。