[發明專利]一種基于IMU和視覺的食物體積估計方法及系統

在審

• 申請號: 201810797660.5
• 申請日: 2018-07-19
• 公開（公告）號: CN109166146A
• 公開（公告）日: 2019-01-08
• 發明（設計）人: 王梓里
• 申請（專利權）人: 上海斐訊數據通信技術有限公司
• 主分類號: G06T7/55
• 分類號: G06T7/55;G06T7/62
• 代理公司: 杭州千克知識產權代理有限公司 33246
• 代理人: 周希良;吳輝輝

本發明公開了一種基于IMU和視覺的食物體積估計方法及系統，該方法包括：獲取以視頻方式拍攝的待測食物視頻幀及對應的IMU數據；通過獲取的待測食物視頻幀及對應的IMU數據，獲取待測食物的稠密點云；從所述獲取的待測食物的稠密點云中提取待測食物的表面；在垂直方向上，對待測食物的表面進行切片，獲取切片體積。該方法利用手機設備中必備的IMU傳感器獲取食物的信息，并與視覺信息相結合，不僅能重建食物的模型，還能自動估計食物的體積，操作簡便。

技術領域

本發明屬于健康飲食領域，更具體地，涉及一種基于IMU和視覺的食物體積估計方法及系統。

背景技術

現如今，隨著人們生活質量的提高，越來越多的人開始注重自己的飲食健康，尤其是健身運動者們，對自己的飲食情況非常注重，這便涉及到對所食用的食物的體積的估算，現有的對食物體積的估算方法要么需要使用專業的設備，要么需要進行復雜的操作，那么用戶就不能隨時記錄自己的飲食情況，效果不佳。

公開號CN105580052A的發明公開了一種系統，用于利用移動設備估計板上食物、例如膳食的體積。所述系統使用攝像機和光圖案投影儀。在其上具有和不具有投影光圖案的食物的圖像使得能夠計算立體形狀和體積，而圖像分割和辨別步驟估計所述圖像中的一個或多個食物類型。通過應用可訪問的知識數據庫，碳水化合物含量被估計，并且關聯的胰島素丸劑劑量被提供。發展包括光圖案、不同光源和關聯的波長的編碼、運動補償、附加光學器件、脂肪含量的估計和關聯的多波丸劑。該發明可以被實現在葡萄糖儀中或者在被提供有測試條端口或移動電話的胰島素泵控制器中。該發明使用光圖案投影技術重建食物的3D模型，然后計算食物的體積，但光圖案投影設備只在極少數移動設備上有，不具有普遍性。

與現有技術相比，本發明利用手機拍攝食物外觀的視頻，并通過手機必備的IMU傳感器獲取食物的信息，再結合視覺信息，不僅能重建食物模型，并且可以自動計算食物的體積，操作簡單，使用方便，實用性強，用戶體驗度好。

發明內容

針對現有技術的以上缺陷及改進需求，本發明提供了一種基于IMU和視覺的食物體積估算方法及系統，其目的在于提供一種操作簡單，使用方便的食物體積估計方法及系統，由此解決現有技術存在的操作復雜、使用不便、不具有普遍性的技術問題。

為實現上述目的，本發明提供一種基于IMU和視覺的食物體積估計方法，包括步驟：

S1.獲取以視頻方式拍攝的待測食物視頻幀及對應的IMU數據；

S2.通過獲取的待測食物視頻幀及對應的IMU數據，獲取待測食物的稠密點云；

S3.從所述獲取的待測食物的稠密點云中提取待測食物的表面；

S4.在垂直方向上，對待測食物的表面進行切片，獲取切片體積。

進一步的，所述獲取的切片體積之和即為待測食物的體積。

進一步的，步驟S2具體包括步驟：

根據獲取的待測食物的視頻幀及對應的IMU數據計算相機移動的軌跡和朝向，根據所述相機移動的軌跡和朝向，獲取待測食物及其所在場景的稠密點云。

進一步的，還包括步驟：

在所述獲取的待測食物及其所在場景的稠密點云中通過高度差異將待測食物的稠密點云從其所在場景中分割出來，獲取待測食物的稠密點云。

進一步的，還包括步驟：

將待測食物的體積進行反饋。

相應的，還提供一種基于IMU和視覺的食物體積估計系統，包括：

第一獲取模塊，用于獲取以視頻方式拍攝的待測食物視頻幀及對應的IMU數據；

第二獲取模塊，獲取待測食物的稠密點云；