[發明專利]一種訓練食品圖像分類模型的方法及圖像分類方法

在審

• 申請號: 201911152246.X
• 申請日: 2019-11-22
• 公開（公告）號: CN111046920A
• 公開（公告）日: 2020-04-21
• 發明（設計）人: 蔣樹強;劉林虎;閔巍慶
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08
• 代理公司: 北京泛華偉業知識產權代理有限公司 11280
• 代理人: 王勇

本發明提供一種訓練食品圖像分類模型的方法及圖像分類方法，所述方法包括：分別構建多尺度的食品原材料神經網絡以及多尺度的食品類別神經網絡，對目標圖像進行多尺度劃分；對于目標圖像的每種類型特征，分別進行多尺度融合，對于融合后的三種類型特征進行融合；將融合后的特征輸入到基于融合特征的分類器進行分類。本發明創新性地提出了高級食品語義分布和深度視覺特征的互補性融合，并且進一步將原材料屬性信息與高級食品語義分布和深度視覺特征進行融合，解決了食品圖像的非剛性結構和幾何變形問題，更加有利于食品圖像的識別。并且，本發明通過多尺度融合方式，彌補了食品圖像不具備空間排列特性的缺陷，最大限度地提高了分類性能。

技術領域

本發明涉及圖像識別領域，尤其涉及食品圖像分類。

背景技術

食品是人們生活的物質基礎，良好的飲食習慣可以預防各種慢性疾病(如肥胖、糖尿病等)。食品圖像分類又有著廣泛的實際運用，比如智能手環來分析你的飲食營養、智慧餐廳自助結賬等。

但是食品圖像分類也存在一定的難點：(1)在現實生活中，食品圖像包含與食品無關的背景信息；(2)同一類別中的食品圖像可能具有明顯的差異性，而它們卻和不同類別的相似；(3)食品圖像沒有任何獨特的空間形狀，也沒有獨特的外觀，會隨著烹飪的方法而改變，因此缺乏剛性結構。

為了解決以上問題，有些工作基于Faster-R-CNN提取顯著性區域后進行食品圖像的分類(參見梅舒歡，閔巍慶,劉林虎等人發表于南京信息工程大學學報(自然科學版),2017(06):73-79的“基于Faster R-CNN的食品圖像檢索和分類”)。這種方法有效的去除了復雜的背景信息，捕捉到食品主體顯著性區域，從而提升分類性能；有些研究工作提出一個能夠捕獲食物垂直結構的技術框架(參見MartinelN,Foresti G L,Micheloni C發表于IEEEWinter Conference on Applications of Computer Vision，2018的“Wide-SliceResidual Networks for Food Recognition”)。這個框架有效的捕捉到食品圖像的各種垂直結構，然后和原始圖像做一個特征融合進行食品圖像分類，大大的提高了食品圖像分類的性能；有些研究工作運用食品圖像的原材料信息來進行多任務學習(參見Chen J,Ngo C W發表于Proceedings of the2016ACM on Multimedia Conference.2016:32-41的“Deep-based ingredientrecognition for cooking recipe retrieval”)。他們提出同時使用原材料多標簽和類別單標簽信息共同學習的方法來提升分類性能。

現有方法大多是通過卷積神經網絡(CNN)直接提取深度視覺特征用于食品圖像分類，他們忽略了食物圖像的特點，因此難以實現最佳性能。另外，現有方法忽略了食品圖像也可以看作是細粒度圖像，可以借鑒細粒度圖像識別的方法，但是食品圖像卻沒有共同的語義部分，因此增加了一定的識別難度。

發明內容

本發明的目的是解決上述現有技術并沒有針對食品圖像非剛性結構進行研究也沒有考慮它的幾何變形問題，因此提出了一種基于融合多尺度多視角特征的食品圖像分類模型訓練方法以及圖像分類方法。