[發明專利]基于復雜網絡和深度學習的可交互智能冰箱健康服務終端

有效

• 申請號: 201810432243.0
• 申請日: 2018-05-08
• 公開（公告）號: CN108829723B
• 公開（公告）日: 2022-06-10
• 發明（設計）人: 高忠科;黨偉東;常傳泉
• 申請（專利權）人: 天津大學;天津科源科技有限公司
• 主分類號: G06V20/68
• 分類號: G06V20/68;G06V10/764;G06V10/774;G06V10/82;G06N3/04;G06N3/08;G16H20/60
• 代理公司: 北京世衡知識產權代理事務所(普通合伙) 11686
• 代理人: 肖淑芳

1.一種基于復雜網絡和深度學習的可交互智能冰箱的健康服務方法，其特征在于：包括：

建立可視化用戶界面；

采集冰箱內所儲存的食材的圖像；

根據所采集的冰箱內所儲存的食材的圖像識別冰箱內所儲存的食材種類、數量和/或食材在冰箱內的位置，并呈現于可視化用戶界面；和

基于二分復雜網絡的飲食推薦方法，根據用戶的身體狀況信息、飲食記錄及時令信息向用戶推薦菜品或飲食方案，并呈現于可視化用戶界面；

其中，所述根據所采集的冰箱內所儲存的食材的圖像識別冰箱內所儲存的食材種類、數量和/或食材在冰箱內的位置的具體方法為：包括：獲取食材的圖像，并依據食材名稱設定標簽，形成帶標簽的食材圖像數據庫；在云平臺上構建深度卷積神經網絡模型；優化處理模型結構和參數；和將采集到的食材信息輸入優化后的深度卷積神經網絡模型，確定食材種類、數目和/或食材在容納空間中的位置；

其中，所述在云平臺上構建深度卷積神經網絡模型步驟中，所述網絡模型的結構為：

INPUT-＞[[CONV-＞AF]*N-＞POOL？]*M-＞[FC-＞AF]*L-＞FC

式中：

INPUT表示輸入數據，CONV表示卷積層，AF表示激活函數，POOL表示池化層，？表示該層是可選的，FC表示全連接層；

其中，N,M,L表示特定結構重復的次數，均為正整數，且滿足

N≥0，N≤3；

M≥0；

L≥0，L＜3；

激活函數采用ReLU函數，其計算公式為f_ReLU(x)＝max(0,x)；

所述卷積層CONV用來提取輸入圖像的特征，通過卷積層能夠得到特征圖，卷積過程滿足如下公式：

式中，表示第l層中第j個特征圖，表示第l-1層中第i個特征圖，表示第l層中第j個特征圖與第l-1層中第i個特征圖之間的卷積核，表示第l層中第j個特征圖對應的偏置，H表示第l-1層中特征圖的集合，f為激活函數；

當輸入圖像尺寸為W，卷積層中神經元的感受野尺寸為F，步長為S，零填充的數量為P時，所述卷積層輸出的圖像尺寸為

所述池化層POOL通過池化來降低卷積層輸出特征圖的維度，池化過程滿足如下公式：Z'_nm＝f₁(Z_np,Z_n(p+1))

其中，Z_np為池化層中第n個輸入特征圖第p個神經元的輸出值，Z'_nm為第n個輸出特征圖第m個神經元的輸出值，f₁表示池化函數；

其中，所述優化處理模型結構和參數的具體方法為：

將獲取的食材圖像數據庫中的食材圖像分為兩部分，分別作為訓練樣本和測試樣本，經多層卷積、池化操作后完成特征提取，后經輸出層完成分類辨識；通過目標函數確定分類誤差，通過誤差反向傳播算法優化更新模型參數，反復訓練直至到達指定次數或分類誤差足夠小，從而確定可用于食材圖像準確分類辨識的模型結構以及相應參數；其中訓練樣本用于對模型結構和參數進行訓練，測試樣本用于測試訓練后的模型的食材辨識效果；

其中，所述多層卷積、池化操作包括：

在連續的卷積層之間周期性的插入一個池化層，不改變圖像深度的前提下減小中間過程產生的特征圖尺寸；

信息從輸入層經過逐級變化傳送到輸出層，網絡執行的計算公式為：

OUTPUT＝F_h(…(F₂(F₁(INPUT·W⁽¹⁾)W⁽²⁾)...)W^(h))

式中，INPUT表示輸入數據，W^(h)表示第h層的權值點陣，F_h表示第h層的激活函數，OUTPUT表示實際輸出值；

在通過誤差反向傳播算法優化更新模型參數過程中，當第l層為卷積層、第l+1層為池化層時，將第l+1層的特征圖上采樣，使得與第l層特征圖大小一致，然后進行敏感度計算，公式如下：

其中，q表示序數，為第l層上第q個特征圖內所有像素對應的敏感度組成的敏感度圖，為第l+1層第q個特征圖內所有像素對應的敏感度組成的敏感度圖，“·”為兩式對應相乘，up(·)表示上采樣函數，為第l+1層上第q個特征圖對應的權值，f'(·)為當前層激活函數的導數，為第l層上第q個特征圖激活之前的數據；

在權值更新過程中，該層每個特征圖的偏置項的導數都為該特征圖的所有像素的敏感度之和，公式如下：

式中E為參數集在訓練集上的整體誤差，b_q為該層第q個特征圖的偏置項；

對于卷積核，其偏導數等于相鄰兩層對應之積，公式如下：

式中表示第l-1層第s個特征圖，代表第l層與對應的第q個的卷積核，為第l層上第q個特征圖內所有像素對應的敏感度組成的敏感度圖，rot180(·)表示將矩陣旋轉180度，conv2(·)表示兩個矩陣的卷積計算，valid表示返回值不考慮邊界補零，即只要有邊界補出的零參與運算的都舍去；

當第l層為池化層、第l+1層為卷積層時，由于池化層權值固定，涉及不到權值更新，不用計算偏導數，其公式如下：

式中“·”為兩式對應相乘，f'(·)為當前層激活函數的導數，conv2(·)表示兩個矩陣的卷積計算，為第l層上第q個特征圖激活之前的數據，表示第l+1層第q個特征圖內所有像素對應的敏感度組成的敏感度圖，表示第l+1層第q個卷積核，full表示返回全部二維卷積結果；

其中，基于二分復雜網絡的飲食推薦方法包括：

確定二分復雜網絡的節點，以菜品、用戶為二分復雜網絡的節點；

建立二分復雜網絡的連邊及權重；和

通過二分復雜網絡對用戶身體狀況數據進行分類及確定菜品對用戶的健康影響；

其中，所述確定二分復雜網絡的節點的執行方法為：通過統計、整理大量用戶的飲食記錄，梳理菜品名單，以各種菜品和各位用戶分別為網絡節點，作為二分復雜網絡的兩類節點；

所述建立二分復雜網絡的連邊及權重的執行方法為：根據用戶的飲食記錄，在用戶與食用過的菜品之間建立加權連邊，連邊的權重根據食用次數確定；

所述通過二分復雜網絡對用戶身體狀況數據進行分類及確定菜品對用戶的健康影響的執行方法為包括：

通過比較同一類用戶在食用不同菜品后的身體狀況變化情況，確定不同菜品對某一類用戶的生理作用以及健康影響；

通過比較不同類用戶食用相同菜品后的身體狀況變化情況，確定同一菜品對不同類用戶的生理作用以及健康影響；

通過比較同一類用戶食用相同菜品后的身體狀況變化情況，確定同一菜品在同一類用戶中生理作用的差異性以及健康影響；

針對特定用戶，結合其身體狀況數據以及個人喜好，結合時令信息，決策最優的飲食推薦方案。