[發(fā)明專利]一種傳統(tǒng)特征與深度特征的自動(dòng)融合方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110183028.3
• 申請(qǐng)日: 2021-02-10
• 公開（公告）號(hào): CN112990270B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 黃成斌;陳偉婷
• 申請(qǐng)（專利權(quán)）人: 華東師范大學(xué)
• 主分類號(hào): G06F18/25
• 分類號(hào): G06F18/25;G06F18/2431;G06F17/16;G06N3/0464;G06N3/08
• 代理公司: 上海德禾翰通律師事務(wù)所 31319
• 代理人: 夏思秋

1.一種傳統(tǒng)特征與深度特征的自動(dòng)融合方法，其特征在于，包括如下步驟：

步驟一，提取傳統(tǒng)特征：利用常規(guī)特征工程方法，提取EEG信號(hào)中有利于刻畫驚厥發(fā)作的EEG信號(hào)傳統(tǒng)特征，包括信號(hào)的峰度、偏度、變異系數(shù)特征；其中，所述EEG信號(hào)中含有1秒以上的驚厥發(fā)作信號(hào)；

步驟二，構(gòu)建GBDT模型并利用GBDT模型提取葉子索引特征；利用GradientBoostingClassifier類實(shí)例化所述GBDT模型，基于步驟一提取的傳統(tǒng)特征通過類中fit接口訓(xùn)練所述GBDT模型；設(shè)置GBDT模型的樹的數(shù)目為100棵，每棵樹的葉子節(jié)點(diǎn)為32個(gè)；輸入步驟一提取的傳統(tǒng)特征到訓(xùn)練好的GBDT模型中提取樣本的葉子節(jié)點(diǎn)索引特征；所述葉子節(jié)點(diǎn)索引特征被視作類別特征，n棵樹對(duì)應(yīng)n個(gè)類別特征，不同特征落在分類樹的不同葉子處；通過類下的apply接口獲得葉子索引特征；

步驟三，通過增強(qiáng)型DNN實(shí)現(xiàn)深度特征的自動(dòng)提取，稀疏類別特征的轉(zhuǎn)換以及特征的自動(dòng)融合；具體包含以下三個(gè)子步驟：深度特征提取步驟、稀疏類別特征的轉(zhuǎn)換步驟和特征融合步驟；

所述步驟三中，所述稀疏類別特征的轉(zhuǎn)換步驟包括：利用Embedding層將高維的稀疏特征降維成低維的連續(xù)實(shí)數(shù)特征，具體計(jì)算公式為：

e_i＝x_iV_i；

其中，x_i是將第i個(gè)類別特征轉(zhuǎn)換成one-hot之后的向量，V_i是可學(xué)習(xí)的參數(shù)，e_i是第i個(gè)類別特征經(jīng)過Embedding層的輸出結(jié)果；所述Embedding層的輸出結(jié)果是將多個(gè)類別特征轉(zhuǎn)換后進(jìn)行拼接所得的長(zhǎng)向量：v_Embedding＝[e₁,e₂,···,e_m]，其中V_Embedding表示深度神經(jīng)網(wǎng)絡(luò)Embedding層的最終輸出，m表示類別特征數(shù)量；

所述步驟三中，所述特征融合步驟包括：將Embedding層輸出的特征與深度神經(jīng)網(wǎng)絡(luò)輸出的特征拼接在一起，作為全連接層的輸入，并通過全連接層的作用得到分類結(jié)果；所述全連接層采用softmax激活函數(shù)，輸出維度為2，表示是否為驚厥，具體計(jì)算為：

σ(W[v_DNN,v_Embedding]+b)

其中，W是可學(xué)習(xí)的參數(shù)矩陣，b是偏置向量，σ是激活函數(shù)，v_DNN和v_Embedding分別是深度神經(jīng)網(wǎng)絡(luò)的輸出和Embedding層的輸出；

所述步驟三中，在訓(xùn)練增強(qiáng)型DNN時(shí)，利用公式(1)-(7)計(jì)算Loss，計(jì)算Loss時(shí)結(jié)合了三種不同的Loss，具體公式如下：

L＝αL₁+βL₂+γL₃???(7)

在公式(1)-(7)中，公式(1)、(2)和(3)分別表示特征融合的輸出結(jié)果、深度神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果和Embedding層的輸出結(jié)果；L₁、L₂和L₃均為多分類的交叉熵?fù)p失函數(shù)，分別表示特征融合的Loss、深度神經(jīng)網(wǎng)絡(luò)的Loss和Embedding層的Loss；公式(7)的L是最終的損失，其通過融合L₁、L₂和L₃三種不同的Loss得到，公式中的α、β、γ表示融合權(quán)重，α、β、γ分別設(shè)置為0.25、0.5和0.25；在以上公式中，和分別表示特征融合的輸出結(jié)果、深度神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果和Embedding層的輸出結(jié)果；σ表示激活函數(shù)；v_DNN和v_Embedding分別是深度神經(jīng)網(wǎng)絡(luò)的輸出和Embedding層的輸出；W¹、W²、和W³是需要訓(xùn)練的參數(shù)矩陣，b¹、b²和b³是偏置向量；y_ij表示第i個(gè)樣本是否屬于第j個(gè)類別，表示模型在第i個(gè)樣本第j個(gè)類別上輸出的概率；n是訓(xùn)練的樣本數(shù)，m是輸出的類別數(shù)；

訓(xùn)練增強(qiáng)型DNN的優(yōu)化算法采用Adam算法，學(xué)習(xí)率為0.0001。