[發明專利]一種傳統特征與深度特征的自動融合方法

有效

• 申請號: 202110183028.3
• 申請日: 2021-02-10
• 公開（公告）號: CN112990270B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 黃成斌;陳偉婷
• 申請（專利權）人: 華東師范大學
• 主分類號: G06F18/25
• 分類號: G06F18/25;G06F18/2431;G06F17/16;G06N3/0464;G06N3/08
• 代理公司: 上海德禾翰通律師事務所 31319
• 代理人: 夏思秋

本發明公開了一種傳統特征與深度特征的自動融合方法，包括如下步驟：1.提取傳統特征：結合目標任務，利用常規特征工程方法，提取適合于刻畫所分析數據的特征；2.將傳統特征轉換成GBDT模型的葉子索引特征。輸入步驟一提取的特征到訓練好的梯度提升樹模型中提取樣本的葉子節點索引特征；葉子節點索引特征被視作類別特征，有n棵樹就會有n個類別特征；3.通過增強型DNN實現深度特征的自動提取，稀疏類別特征的轉換以及特征的自動融合；具體包含深度特征提取步驟、稀疏類別特征的轉換步驟和特征融合步驟。本發明有效融合傳統特征工程和深度學習自動提取特征，從而提高分類或回歸任務的準確率。

技術領域

本發明屬于模式識別、機器學習、人工智能領域，涉及特征提取及融合技術，尤其涉及一種傳統特征與深度特征的自動融合方法。

背景技術

目前機器學習方法在圖像識別、語音識別、醫學診斷等眾多領域已經有了很廣泛的應用。在一個機器學習領域的分類任務中，其解決方法可以根據特征提取方式分為傳統的特征工程方法和深度學習方法。

傳統特征工程方法依賴于一定的專家經驗知識和人工設計進行特征提取，并借助分類器進行分類。比如在醫學診斷領域，從EEG信號中提取頻譜、時域和時頻域特征，并使用支持向量機[1]檢測驚厥；在圖像識別領域，使用SIFT特征用于視圖匹配或圖像識別等問題[2]。深度學習方法則通過構建深度神經網絡來自動提取特征，且通常直接對其進行分類，實現端到端的分類。比如在醫學診斷領域，直接用較深的卷積神經網絡進行驚厥檢測[3]；在圖像識別領域，Resnet網絡在多個圖像識別數據集上有著驚人的成就[4]。

早期的工作通過傳統特征工程方法實現。近些年來，隨著深度學習技術的發展及其在眾多領域的良好表現，越來越多的工作采用深度學習方法。但深度學習需要大量的數據支撐，且專家的經驗在醫學診斷等領域具有極其重要的意義。將深度學習和傳統特征工程相結合，結合兩者的優點可以獲得更好的分類效果。

有學者提出了一些將傳統特征和深度特征相結合的方法。但是這些方法都各自有一些缺點，且無法實現特征的自動融合。第一種方法是將傳統特征送入深度神經網絡(DeepNeural?Networks,DNN)進一步提取深度特征[5]，但提取傳統特征時容易忽略部分重要信息且部分特征難以被直觀地提取出來。第二種方法是在DNN倒數第二層中將傳統特征和深度特征直接連接起來[6]。但是，由于傳統特征大多是連續的數值特征，簡單的特征拼接下，DNN很難從傳統特征中提取出有用的信息[7]。除此之外，當模型包含太多傳統特征時，模型容易過度擬合訓練集。

[1]Shoeb?A?H,Guttag?J?V.Application?of?machine?learning?to?epilepticseizure?detection[C]//Proceedings?of?the?27th?International?Conference?onMachine?Learning(ICML-10).2010:975-982.

[2]Lowe?D?G.Distinctive?image?features?from?scale-invariant?keypoints[J].International?journal?of?computer?vision,2004,60(2):91-110.

[3]Acharya?U?R,Oh?S?L,HagiwaraY,et?al.Deep?convolutional?neuralnetwork?for?the?automated?detection?and?diagnosis?ofseizure?using?EEG?signals[J].Computers?in?biology?and?medicine,2018,100:270-278.