[發明專利]一種基于深度數據的癲癇發作監控方法及系統

有效

• 申請號: 201610190168.2
• 申請日: 2016-03-29
• 公開（公告）號: CN105760861B
• 公開（公告）日: 2020-05-12
• 發明（設計）人: 邱崧;劉瑩瑩;孫力;蔡茗名;李慶利;周梅;凌佩佩;貝璟
• 申請（專利權）人: 華東師范大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;A61B5/00
• 代理公司: 上海藍迪專利商標事務所(普通合伙) 31215
• 代理人: 徐筱梅;張翔

1.一種基于深度數據的癲癇發作監控方法，其特征在于該方法包括以下具體步驟：

第一步，獲取癲癇發作數據集

用深度傳感器分別采集數名患者測試員在站立、躺下兩種初始狀態下發病抽搐過程的動作片段，每個片段包含連續60幀深度圖像，分別得到患者測試員站立、躺下兩種初始狀態發病抽搐的數據集；

第二步，提取特征向量

(1)空間關節點提取

分別從患者測試員站立、躺下兩種初始狀態發病抽搐的數據集的深度圖像中提取患者測試員空間骨架的20個空間關節點，選取其中的12個空間關節點作為四肢運動的表征，并提取12個空間關節點的深度坐標；所述12個空間關節點包括左手肘、左手腕、左手、右手肘、右手腕、右手、左膝、左腳踝、左腳、右膝、右腳踝、右腳；

(2)獲取初始特征向量

將12個空間關節點的深度坐標實時變換到以深度傳感器作為坐標原點的三維空間坐標；采用光流法對當前時刻12個空間關節點進行跟蹤，得到與空間關節點對應的12條固定時間間隔的軌跡，用高斯平滑濾波器進行軌跡平滑處理；對每條軌跡以相同的時間間隔進行采樣；設i關節點在一定時序下形成的軌跡是T_i，每條軌跡上采集n個點，經過坐標實時變換后該軌跡表示為T_i＝{(x₁,y₁,z₁),(x₂,y₂,z₂),...,(x_i,y_i,z_i),...,(x_n,y_n,z_n)}；在t時刻i關節點沿x，y，z方向的速度為：

將12條軌跡上的n個采樣點的瞬時速度組成的集合作為初始特征向量；

對每個患者測試員重復該步驟，分別得到與患者測試員站立、躺下兩種初始狀態發病抽搐的數據集對應的全部初始特征向量；

第三步，字典學習

按照稀疏編碼的訓練過程將第二步的兩種初始特征向量進行分別聚類，生成基底向量，構成兩類稀疏字典；

第四步，支持向量機SVM分類器訓練

(1)生成稀疏向量

對兩類稀疏字典分別進行稀疏編碼，生成稀疏向量；

(2)稀疏向量的最大值合并

對稀疏向量使用最大值合并算法，保留稀疏向量集合中每一維的最大絕對值，即保留最能反映局部運動劇烈程度的全局視頻特征；

(3)SVM分類器訓練

用上述經過第四步(2)最大值合并算法的全局視頻特征訓練SVM分類器，得到站立和躺下兩種初始狀態下的分類器1和分類器2；

第五步，確定癲癇發作預判斷的閾值范圍

用深度傳感器分別采集若干癲癇發作和其他日常活動動作的深度圖像片段；提取每一幀深度圖像中12個空間關節點的三維坐標，由當前幀和相鄰幀各關節點的三維空間坐標，計算各關節點的合加速度；

合加速度的計算如下，以X方向為例

V_t＝(x_t+1-x_t)×f_T

V_t-1＝(x_t-x_t-1)×f_T

a_x＝(V_t-V_t-1)×f_T

其中，f_T為深度傳感器的采集頻率；

合加速度

按照上述方法取每一個深度圖像片段12個空間關節合加速度最大值和最小值，并將其作為癲癇發作和其他日常活動的二分類訓練樣本，其他日常活動不包括跑、跳； 不同關節點各自通過SVM分類的方法得到區分癲癇發作和其他日常活動動作的加速度最大值和最小值的閾值，將閾值范圍設成SVM計算出的最大值的1.5倍和最小值的1/2；

第六步，獲取被監測癲癇患者數據集

將深度傳感器正對患者進行實時監測，獲取癲癇患者的動作片段，每個片段包含連續60幀深度圖像；

第七步，癲癇發作預判斷

(1)空間關節點提取

從上述被監測癲癇患者數據集的深度圖像中提取患者空間骨架的20個空間關節點，選取其中的12個空間關節點作為四肢運動的表征，并提取12個空間關節點的深度坐標；所述12個空間關節點包括左手肘、左手腕、左手、右手肘、右手腕、右手、左膝、左腳踝、左腳、右膝、右腳踝、右腳；

(2)癲癇發作預判斷

將12個空間關節點的深度坐標實時變換到以深度傳感器作為坐標原點的三維空間坐標；由當前幀和相鄰幀各關節點的三維空間坐標，計算各關節點的合加速度；如果當前時刻各關節點合加速度超過第五步設定的閾值范圍，則判定患者有可能癲癇發作；

第八步，判斷患者的初始狀態

建立以人為中心的三維坐標系，選取關節點中的中臀、左臀、右臀、腰4個關節點，以左臀、右臀2個關節點確定x軸，以腰、中臀2個關節點確定y軸，即可確定坐標原點和xoy平面；再通過原點以xoy平面的法線方向建立z軸；對比以深度數據采集裝置為原點的三維坐標系與人體坐標系的z軸，判斷此時患者是站立還是躺下的狀態，從而選擇第四步與初始狀態對應的分類器1或分類器2；

第九步，提取被監測癲癇患者特征向量

(1)獲取初始局部特征向量

采用光流法對當前時刻12個空間關節點進行跟蹤，得到與12個空間關節點對應的12條固定時間間隔的軌跡，用高斯平滑濾波器進行軌跡平滑處理；對每條軌跡以相同的時間間隔進行采樣；設i關節點在一定時序下形成的軌跡是T_i，每條軌跡上采集n個點，經過坐標實時變換后該軌跡可以表示為

T_i＝{(x₁,y₁,z₁),(x₂,y₂,z₂),...,(x_i,y_i,z_i),...,(x_n,y_n,z_n)}；

在t時刻i關節點沿x，y，z方向的速度為

將12個空間關節點軌跡上的n個采樣點的瞬時速度組成的集合作為初始特征向量；

采用滑動時間窗口的形式儲存表示當前時刻的初始特征向量，隨時間窗口移動，更新存儲的數據；

(2)生成稀疏向量

采用與初始狀態相對應的稀疏字典對第九步(1)得到的初始特征向量進行稀疏編碼，生成稀疏向量；

(3)稀疏特征的最大值合并

對稀疏向量使用最大值合并算法，保留稀疏向量集合中每一維的最大絕對值，得到最終的特征向量；

第十步，癲癇發作識別

將第九步(3)獲取的最終特征向量放入第四步所得的SVM分類器，識別患者是否癲癇發作；

第十一步，癲癇發作時做出響應

當識別出患者此時癲癇發作時揚聲器發出報警聲音，發光模塊產生報警燈光；并通過GSM和4G移動通信自動發送短信或郵件通知家屬。

2.一種基于權利要求1所述方法的系統，其特征在于該系統包括：

深度數據采集模塊,用于實時采集癲癇患者動作的深度數據；

預分析模塊,與深度數據采集模塊相連,用于處理采集的深度數據,并通過閾值判斷實時分析癲癇患者是否可能癲癇發作；

識別模塊,與預分析模塊相連，用于處理癲癇患者關節特征點的運動數據，識別出患者是否癲癇發作；

數據存儲模塊，分別與預分析模塊、識別模塊相連，用于存儲預分析模塊設定的閾值、識別模塊中的字典和當前時刻患者各關節特征點的運動數據；

報警模塊，與識別模塊相連，用于患者癲癇發作時發出報警信號；

發光模塊，與報警模塊相連，用于報警時產生報警光信號；

GSM和4G移動通信模塊，與報警模塊相連，用于自動發送短信或郵件通知家屬；

電源模塊，分別與深度數據采集模塊、預分析模塊、識別模塊、數據存儲模塊、報警模塊、發光模塊、GSM和4G移動通信模塊相連。