[發明專利]一種基于多模態傳感的肌肉形變智能檢測系統及方法

在審

• 申請號: 202211072556.2
• 申請日: 2022-09-02
• 公開（公告）號: CN115316982A
• 公開（公告）日: 2022-11-11
• 發明（設計）人: 丁乃達;范慧杰;韓志;唐延東;李文濤
• 申請（專利權）人: 中國科學院沈陽自動化研究所
• 主分類號: A61B5/11
• 分類號: A61B5/11;A61B5/00
• 代理公司: 沈陽科苑專利商標代理有限公司 21002
• 代理人: 王倩

本發明涉及本發明涉及肌肉形變的智能醫療領域，具體為一種基于多模態傳感的肌肉形變智能檢測系統及方法，系統結合了傳感數據建模、計算機視覺和深度學習技術。本系統包括傳感信息采集模塊、數據處理模塊和智能檢測模塊。傳感信息采集模塊包括柔性可穿戴應變傳感器和視覺傳感器，應變傳感器負責獲得面部肌肉以及各關節點的運動數據，視覺傳感器負責獲取病人的步態數據；數據處理模塊負責將運動傳感數據與視覺傳感數據通過深度學習技術進行特征提取，結合傳感數據的時間與空間信息，采用ASFF方法進行特征融合，得到多尺度的特征向量；智能檢測模塊通過將多尺度的特征向量作為輸入，通過深度神經網絡分析多尺度的特征向量進行分類，獲得肌肉形變結果。

技術領域

本發明涉及傳感數據處理、計算機視覺與深度學習技術，具體為一種基于多模態傳感方式的肌肉形變智能檢測系統及方法，屬于醫療器械制作技術領域。

背景技術

近年來，帕金森病、亨廷頓病等運動障礙疾病的社會關注度有所提升，病例數量也呈逐年上升趨勢。該類疾病的早期癥狀主要有靜止性震顫、運動遲緩、肌強直和姿勢步態障礙等。病人的主要表現為：靜止時手、手臂或腿發生振動或顫抖；肌肉僵硬、面部表情異常；運動行走協調性、步態異常，以及姿勢、平衡障礙等。上述病人的癥狀與肌張力的異常變化有著密不可分的關系，故發展肌肉形變的智能檢測系統及方法，對運動障礙類疾病的及時干預有著重要意義。

目前，在臨床和科研方面國內外的重點是對運動障礙的病情進行評估，并根據運動障礙癥狀的輕重來進行評分。該方法在臨床應用方面面臨的主要問題在于：評分由訓練有素、經驗豐富的神經學家進行，完整的運動評估非常耗時，且獲得的結果主觀性太強，評分誤差較大；病人病情的跟蹤調查和及時隨訪也給患者的醫療服務帶來巨大挑戰，尤其在醫療資源分配有差異、新冠肺炎疫情存在的當下，發展基于人工智能的肌肉形變自動檢測技術具有重大的應用價值。

運動障礙的智能量化是實現病患運動功能智能評估的關鍵。目前的智能檢測方法可分為運動傳感和視覺傳感兩大類。有研究者通過病人身上的運動傳感器組成傳感器網絡，在時域和頻域提取病人的運動學特征，再進行分析。由于運動傳感器的運動信號準確，這些基于傳感器的方法大都可以得到良好的效果。然而，大多數金屬傳感器都直接接觸患者的身體，且存在觸感冰冷、佩戴不適等缺點，不可避免地影響患者指定的運動，進而影響識別的準確率。基于視覺傳感的方法，研究者通過Kinect傳感器和彩色攝像機采集的視頻中獲取病人的關節坐標，并從圖像序列中提取人體輪廓特征，通過多元回歸模型進行進一步的分析。但由于病人寬松的病號服的遮擋，不可避免地影響了視覺特征點的檢測。除此之外，基于視覺傳感的方案由于圖像分辨率的問題，難以識別病人面部肌肉的異常。利用傳統特征，設計數學函數來表征步態運動的細微差異，是個具有挑戰性的艱難工作。

發明內容

針對上述技術不足，本發明的目的是提供一種基于多模態傳感的肌肉形變智能檢測系統及方法。該系統通過傳感信息采集模塊，獲取多模態傳感數據；通過數據處理模塊將傳感數據進行分析與處理得到多尺度的特征向量，再由智能檢測模塊將多尺度的特征向量作為輸入，通過深度學習技術進行分類，獲得肌肉形變結果。

相對于視覺傳感方式，應變傳感器通常有更高的傳感精度。單一的傳感方式各有各的問題，但不難發現兩種傳感方式的優勢互補，因此，如何結合兩種傳感方式各自的優點，利用多模態傳感信息的融合，以提高肌肉形變人的智能檢測效率和識別率。

為實現上述技術目標，本發明所提出的技術方案是：一種基于多模態傳感的肌肉形變智能檢測系統，包括：

傳感信息采集模塊，用于獲取多模態傳感信息；所述多模態傳感信息中的運動傳感數據納入數據類信息，視覺傳感數據納入圖像類信息；

數據處理模塊，用于分別對數據類信息和圖像類信息進行處理并進行特征融合，得到同一尺度的特征向量；

智能檢測模塊，用于將同一尺度的特征向量與部分數據類信息構成多尺度的特征向量作為輸入，通過深度神經網絡進行分類，以表示肌肉形變狀態。