[發明專利]一種基于多模態傳感的肌肉形變智能檢測系統及方法

在審

• 申請號: 202211072556.2
• 申請日: 2022-09-02
• 公開（公告）號: CN115316982A
• 公開（公告）日: 2022-11-11
• 發明（設計）人: 丁乃達;范慧杰;韓志;唐延東;李文濤
• 申請（專利權）人: 中國科學院沈陽自動化研究所
• 主分類號: A61B5/11
• 分類號: A61B5/11;A61B5/00
• 代理公司: 沈陽科苑專利商標代理有限公司 21002
• 代理人: 王倩

1.一種基于多模態傳感的肌肉形變智能檢測系統，其特征在于，包括：

傳感信息采集模塊，用于獲取多模態傳感信息；所述多模態傳感信息中的運動傳感數據納入數據類信息，視覺傳感數據納入圖像類信息；

數據處理模塊，用于分別對數據類信息和圖像類信息進行處理并進行特征融合，得到同一尺度的特征向量；

智能檢測模塊，用于將同一尺度的特征向量與部分數據類信息構成多尺度的特征向量作為輸入，通過深度神經網絡進行分類，以表示肌肉形變狀態。

2.根據權利要求1所述的一種基于多模態傳感的肌肉形變智能檢測系統，其特征在于：所述傳感信息采集模塊包括應變傳感器與視覺傳感器；

所述應變傳感器，用于采集面部肌肉抽動或人體各關節形變的運動傳感數據，所述運動傳感數據納入數據類信息；

所述視覺傳感器，用于采集人體行走的視覺傳感數據；所述視覺傳感數據納入圖像類信息。

3.根據權利要求1所述的一種基于多模態傳感的肌肉形變智能檢測系統，其特征在于：所述應變傳感器為可穿戴的應變傳感器。

4.根據權利要求1或3所述的一種基于多模態傳感的肌肉形變智能檢測系統，其特征在于：所述應變傳感器為壓阻式傳感器、壓電式傳感器、電容式傳感器、或以上復合式的傳感器陣列。

5.根據權利要求1或2所述的一種基于多模態傳感的肌肉形變智能檢測系統，其特征在于：所述運動傳感數據包括壓力分布、彈性分布、三維形態信息中的一種或多種。

6.一種基于多模態傳感的肌肉形變智能檢測方法，其特征在于，包括以下步驟：

S1.通過傳感信息采集模塊獲得多模態傳感信息；所述多模態傳感信息中的運動傳感數據納入數據類信息，視覺傳感數據納入圖像類信息；

S2.將數據類信息進行預處理存為一維數據向量，按照等時間間隔采樣將n個一維數據向量合并成一個矩陣，通過卷積操作生成多尺度的傳感數據矩陣；

對與數據類信息具有同時間戳的圖像類信息進行卷積核操作，得到與傳感數據矩陣相同大小的多尺度圖像塊；

將傳感數據矩陣與多尺度圖像塊通過ASFF方法進行特征融合，得到同一尺度的特征向量；

S3.將同一尺度的特征向量與部分數據類信息構成多尺度的特征向量作為輸入，通過深度神經網絡進行分類，以表示肌肉形變狀態。

7.根據權利要求6所述的一種基于多模態傳感的肌肉形變智能檢測方法，其特征在于，所述將數據類信息進行預處理存為一維數據向量，按照等時間間隔采樣將n個一維數據向量合并成一個矩陣，包括以下步驟：

將數據類信息進行離散化、歸一化操作之后，存為一維數據向量：

f＝(v₁,v₂,...,v_M)^T

式中，Vi表示第i個的傳感器在某時刻獲取的傳感數據，M是傳感器的數目；i＝1…M；

按照等時間間隔采樣t生成n個一維數據向量f_t,f_2t,...,f_nt，并生成多尺度的傳感數據矩陣F＝[f₁ f₂...f_n]。

8.根據權利要求6所述的一種基于多模態傳感的肌肉形變智能檢測方法，其特征在于，所述將傳感數據矩陣與圖像塊通過ASFF方法進行特征融合，得到多尺度的特征向量，包括以下步驟：

通過ASFF方法，將傳感數據矩陣與圖像塊分別通過大小為1*1、3*3、5*5的卷積核得到兩組不同尺度的特征圖I₁,I₂,I₃，對于每組特征圖I₁,I₂,I₃，通過插值及修改步幅將各層級的特征圖變為同一尺度，作為融合后的統一尺度特征向量，用于輸入深度神經網絡。