[發明專利]基于單深度圖深度學習視圖合成的食物體積估計方法

在審

• 申請號: 202210058901.0
• 申請日: 2022-01-19
• 公開（公告）號: CN114565659A
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 賴建強;王燁;朱成博
• 申請（專利權）人: 北京精培醫學研究院
• 主分類號: G06T7/62
• 分類號: G06T7/62;G06T17/20;G06T19/20
• 代理公司: 北京國坤專利代理事務所(普通合伙) 11491
• 代理人: 王峰剛

本發明公開了基于單深度圖深度學習視圖合成的食物體積估計方法，涉及飲食評估技術領域，其技術方案要點是：包括以下步驟：1)將每個對象項放置在原點，捕獲不同視角的對象項深度圖像；2)將捕獲的深度圖像渲染為訓練數據集；3)基于深度神經網絡的視圖合成方法將看不見的視角和使用看不見的對象項來預測使用輸入圖像的結果；4)獲得目標對象項的完整三維點云；5)對對象項深度圖像進行預處理；6)采用ICP算法對預處理后的點云進一步優化；7)采用Alpha形狀方法對對象項進行網格劃分并形成三維網格，從而得到對象項的體積。基于深度傳感技術和深度學習視圖合成的集成方法，可以在任何方便的角度獲取單個深度圖像，從而實現精確的食物體積估計。

技術領域

本發明涉及飲食評估技術領域，更具體地說，它涉及基于單深度圖深度學習視圖合成的食物體積估計方法。

背景技術

一個客觀的飲食評估系統可以幫助使用者了解他們的飲食行為，并使有針對性的干預措施能夠解決潛在的健康問題。為了準確量化飲食攝入，需要測量食物的重量或體積。

對于體積估計，以前的研究主要集中在使用基于模型或基于立體的方法，這些方法依賴于手動干預，或者要求用戶從不同的視角捕獲多個幀，操作方式比較復雜；此外，提出了各種基于計算機視覺的技術來解決定量食物部分的問題，食品體積測量技術可分為基于模型和基于立體的兩大類技術，這些技術盡管表現出了良好的性能，但仍然存在以下幾點問題：

(1)基于模型的技術通常涉及不同程度的人為干預，需要參與者輪換、轉移，并縮放預先構建的食品模型，使其與圖像中的食品相匹配；

(2)基于立體的方法要求參與者從不同的視角拍攝多幅食物圖像，操作方式復雜；

(3)其他方法需要特征點提取和匹配。對于表面光滑或紋理不明顯的食品對象，無法有效提取特征點，導致三維重建失敗；

(4)當從不同的視角拍攝圖像時，物體的反射光會發生變化，這影響了特征點匹配和三維重建的準確性；

(5)參考對象(如基準標記)通常需要放置在食品旁邊，以便準確估計。

發明內容

本發明的目的是提供基于單深度圖深度學習視圖合成的食物體積估計方法，解決背景技術中提到的技術問題。

本發明的上述技術目的是通過以下技術方案得以實現的：基于單深度圖深度學習視圖合成的食物體積估計方法，包括以下步驟：

1)將每個對象項放置在原點，通過方位旋轉、仰角旋轉、高度調整和中心移動四種運動方式來捕獲不同視角的對象項深度圖像；

2)將拍攝的圖像進行分割和分類，使用多個外部攝像機參數隨機渲染初始和對應的相反視角捕獲的對象項的深度圖像，并將捕獲的深度圖像渲染為訓練數據集；

3)基于深度神經網絡的視圖合成方法將看不見的視角和使用看不見的對象項來預測使用輸入圖像的結果；

4)將初始深度圖像和相對深度圖像的相機坐標注冊到同一世界坐標中，從而獲得目標對象項的完整三維點云；

5)對步驟1)中的對象項深度圖像進行預處理；

6)采用ICP算法對步驟5)中預處理后的點云進一步優化，使初始點云和合成點云融合在一起；

7)采用Alpha形狀方法對對象項進行網格劃分并形成三維網格，從而得到對象項的體積。

進一步的，所述步驟3)中的深度神經網絡的視圖合成的具體步驟為：

A)針對不同對象項建立不同大小內核的初始層；

B)通過幾個卷積層和完全連接的層形成圖像編碼器；

C)將深度圖像的矢量表示引導到圖像解碼器的若干卷積層中；