[發明專利]一種基于多傳感器信息融合和深度學習的智能中醫健康檢測梳妝臺

在審

• 申請號: 201810724230.0
• 申請日: 2018-07-04
• 公開（公告）號: CN108814565A
• 公開（公告）日: 2018-11-16
• 發明（設計）人: 魏大鵬;郭云飛;陳喬松;劉文俊
• 申請（專利權）人: 重慶郵電大學
• 主分類號: A61B5/02
• 分類號: A61B5/02;A47B67/00;G16H20/30;G16H20/60;G16H50/20;G16H50/30
• 代理公司: 北京同恒源知識產權代理有限公司 11275
• 代理人: 趙榮之

1.一種基于多傳感器信息融合和深度學習的智能中醫健康檢測梳妝臺，其特征在于：包括多維傳感器信號采集單元、信息融合單元、信號控制與處理單元；

多維傳感器信號采集單元包括智能手環脈搏傳感器單元和用戶面部信息采集單元，智能手環脈搏傳感器單元用于動態采集用戶脈搏信息，用戶面部信息采集單元用于采集用戶面部圖像和舌苔圖像；智能手環脈搏傳感器單元包括紅外傳感器和數模信號轉換模塊；用戶面部信息采集單元包括數字攝像頭和視頻信息存儲設備；

信息融合單元通過wide&deep算法進行時域信息融合：使用LSTM算法對脈搏信號進行特征提取作為wide部分，再使用Fast-RCNN算法對用戶面部信息進行特征提取作為deep部分，最后利用協同濾波對脈搏特征和面部特征進行綜合特征提取；

信號控制與處理單元包括健康檢測專家系統和健康提示APP，將采集的用戶脈搏信息和用戶面部信息通過高速總線傳輸到GPU處理器，將特征提取和健康狀態評定在GPU處理器中進行，健康檢測專家系統根據中醫的望診和脈診作為先驗知識對提取的用戶面部特征和脈搏特征進行健康綜合評估，再通過高速總線回傳到用戶手機的APP上，健康提示APP根據用戶的健康綜合評估給出作息、飲食和運動建議并推送給用戶。

2.根據權利要求1所述的一種基于多傳感器信息融合和深度學習的智能中醫健康檢測梳妝臺，其特征在于：所述梳妝臺還包括語音識別助手系統，用于在用戶化妝的過程中通過語言問答對用戶健康狀態主觀感受進行信息采集。

3.根據權利要求1所述的一種基于多傳感器信息融合和深度學習的智能中醫健康檢測梳妝臺，其特征在于：所述梳妝臺通過前期在大量女性非用戶本人脈搏數據的訓練集上對基于RNN的LSTM算法進行參數和網絡結構優化，再將用戶信息輸入到改進型基于RNN的LSTM算法，通過用戶初期數據的自適應學習，掌握用戶的在中醫上的脈象特征；通過前期在大量女性非用戶本人面部圖像和舌苔圖像的訓練上對Fast-RCNN算法進行參數和網絡結構優化，再將用戶信息輸入到改進型Fast-RCNN算法，通過用戶初期數據的自適應學習，掌握用戶的在中醫上的望診的面象和舌象特征；

對提取的用戶脈象特征，面象特征和舌象特征使用wide&deep算法進行綜合特征提取，即將基于改進型Fast-RCNN算法提取的脈象特征進行線性編碼并作為wide&deep算法的wide model，再將基于改進型基于RNN的LSTM算法提取的面象和舌象特征作為wide&deep算法的deep model。

4.根據權利要求1所述的一種基于多傳感器信息融合和深度學習的智能中醫健康檢測梳妝臺，其特征在于：所述用戶面部信息的采集與提取具體包括以下步驟：

S11：對用戶的面部、五官設置若干關鍵點進行標注；

S12：晚上臨睡前，當用戶在卸妝之后且在使用面膜之前的時段，進行一次面部細節數據采集；

S13：早上起床后，當用戶在進行面部清潔和化妝之前的時段，進行一次面部細節數據采集；

S14：利用已經建立的用戶素顏面部特征數據集作為訓練集對Fast-RCNN算法進行參數和網絡架構優化；

S15：使用訓練過的Fast-RCNN算法對用戶本人采集的面部細節數據進行自動補光的定向特征提取；

S16：使用用戶本人的面部細節定向特征存入健康檢測專家系統中，即根據專家系統對望診中對眼睛、耳朵、舌體和舌苔的先驗知識給出對用戶的望診診斷評估。