[發明專利]一種基于殘差學習和多粒度特征融合的睡眠分期方法

在審

• 申請號: 202110494434.1
• 申請日: 2021-05-07
• 公開（公告）號: CN113158964A
• 公開（公告）日: 2021-07-23
• 發明（設計）人: 段立娟;李夢穎;喬元華;張文博;苗軍
• 申請（專利權）人: 北京工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 張慧

1.一種基于殘差學習和多粒度特征融合的睡眠分期方法，其特征在于，包括如下步驟：

步驟一，原始睡眠腦電信號預處理：

對包含N個通道的原始睡眠腦電信號進行帶通濾波以去除噪聲，最終得到采樣率為T的N導睡眠腦電信號；進一步，采用長度為30秒的滑動時間窗口將預處理后的信號不重疊地劃分為P段N個通道的子信號S_i,j，其中i∈[1,2,...,P]表示當前樣本數據的序號,j∈[1,2,...,N]表示當前樣本數據的通道，且每一通道的信號均包含30*T個采樣點；

步驟二，HHT提取時頻特征：

對于包含N個睡眠腦電數據通道的分段后的任意樣本數據S_i＝[S_i1,S_i2,...,S_iN]，其中，S_iN＝[S_i,1 ... S_i,N]，S_i,N表示第N導信號的第i段數據。對每一通道數據使用HHT提取應的時頻矩陣特征；人工設定希爾伯特黃變換的時頻分辨率為M，則得到任意樣本數據的特征大小為N*M*M的時頻矩陣F＝[F₁,F₂,...,F_N]，其中每一腦電通道的時頻特征F_j大小為M*M；

步驟三，多粒度特征提取及融合：

使用多粒度特征提取方法對每個通道的時頻矩陣F_j進行睡眠多粒度特征的學習和整合，最終得到表征每個通道的全部時頻信息的輸出Fusion_j，j∈[1,2,...,N]；所述多粒度特征提取方法包括三個階段，即數據預處理、利用多粒度殘差學習模塊對每個單通道進行多粒度特征提取以及利用多粒度特征融合模塊得到每個單通道最終的注意力感知融合輸出Fusion_j；

步驟四，多通道特征融合及分類：

利用步驟三中的多粒度特征融合模塊，對N個通道的多粒度融合特征Fusion_j進行融合，將融合后的特征拉成一個一維向量，作為線性分類層的輸入，進行睡眠階段分類。

2.根據權利要求1所述的一種基于殘差學習和多粒度特征融合的睡眠分期方法，其特征在于，步驟一所述的預處理包括帶通濾波以及下采樣，具體包括：

1)對原始腦電信號進行0.5-32Hz的帶通濾波；

2)若原始腦電信號的采樣頻率高于100Hz，則使用降采樣操作，將經過濾波后的數據采樣頻率降低到100Hz。

3.根據權利要求1所述的一種基于殘差學習和多粒度特征融合的睡眠分期方法，其特征在于，步驟三所述的多粒度特征提取方法包括以下步驟：

1)數據預處理：對任意M*M的單通道時頻特征矩陣，首先分別經過一個1*1卷積層、一個ReLU激活層以及一個最大池化層得到隱層輸出特征hidden_1_j，該操作用于擴充通道數目、提升深層網絡的非線性并降低特征圖的大小；

2)利用多粒度殘差學習模塊對(1)中輸出的隱層特征hidden_1_j進行多粒度特征提取，所述的多粒度殘差學習模塊以殘差塊ResBlock為網絡的基本單位，其工作過程為：將單通道隱層特征hidden_1_j輸入由殘差塊ResBlock1構成的主干網絡后，劃分為四個分支網絡，利用這四個分支網絡學習輸入數據hidden_1_j的不同粒度大小的特征，來表征睡眠腦電時頻特征的全局和局部信息，第一分支branch1依次包括殘差塊ResBlock2、殘差塊ResBlock4和一個池化層Maxpool2，用于學習和輸出輸入數據hidden_1_j的全局信息hidden_branch1_j，其中ResBlock2使用了步長為2的殘差塊用于降低數據的維度；第二分支branch2在依次經過殘差塊ResBlock3、殘差塊ResBlock4之后，進一步劃分為兩路網絡結構，其中一路網絡經過池化層Maxpool3之后得到該路網絡的隱層輸出hidden_branch2_j，另一路網絡在經過池化層Maxpool4之后將得到的輸出沿水平方向劃分為兩個相等大小的細粒度特征作為這一路網絡的隱層輸出hidden_branch2_seg1_j和hidden_branch2_seg2_j；第三分支branch3在依次經過殘差塊ResBlock3、殘差塊ResBlock4之后劃分為兩路，其中一路網絡經過池化層Maxpool3得到的隱層輸出hidden_branch3_j，另一路網絡在經過池化層Maxpool5之后將得到的輸出沿水平方向劃分為三個相等大小的細粒度特征作為這一路網絡的隱層輸出hidden_branch3_seg1_j、hidden_branch3_seg2_j和hidden_branch3_seg3_j；其中在branch2和branch3中殘差塊ResBlock3設定為步長為1，用于為后續提取局部信息保留一定的接受域；第四分支結構依次包含一個1*1卷積層和一個最大池化層，用于對經過主干殘差塊ResBlock1后的隱層特征進行降維表達，最后，將前三分支的8路輸出結果分別與第四分支的輸出結果相加，得到8路輸出hidden_j,k，其中j∈[1,2,...,N]，k∈[1,2,...,8]；

3)利用多粒度特征融合模塊得到每個單通道最終的注意力感知融合輸出Fusion_j，其中，多粒度特征融合模塊的工作過程如下：

首先，對8路輸出hidden_j,k進行卷積降維，即使用1*1卷積分別對8個hidden_j,k進行通道維度方向上的降維，在卷積層后使用ReLU激活層對網絡神經元進行激活同時為網絡加入非線性因素；

然后，利用注意力感知融合模塊完成對經過卷積降維的8路hidden_j,k的特征融合，具體過程為：對卷積降維后的8個hidden_j,k進行拼接得到一個特征圖Concat，Concat是8個不同粒度特征拼接之后的結果，Concat_k指Concat中第k個通道的數據，k∈[1,2,...,8]，然后經過一個全局平均池化在粒度通道維度上將特征矩陣的尺寸降為1，獲得代表不同粒度特征的指向性特征GAP_k，其具體表達如下：

其中，S×T表示某一通道輸入特征矩陣的大小，Concat_k(u,v)表示第k通道特征矩陣上的每個元素的數值；

接下來設置兩個線性層用于學習不同粒度特征通道上的指向性特征GAP_k的信息權重值weight_k，兩個線性層的激活函數分別為ReLU函數和Sigmoid函數，信息權重值公式表達如下：

weight_k＝σ(W₂δ(W₁GAP_k))

其中，W₁和W₂分別表示兩個線性層的權值，δ(·)和σ(·)分別表示ReLU函數和Sigmoid函數；

最后，對Concat_k進行注意力權重的分配，得到注意力權重縮放后的數據Weighted_k，并沿粒度通道維度求和得到每個單通道最終的注意力感知融合輸出Fusion_j：