[發明專利]一種基于特征篩選的深度學習分類方法

在審

• 申請號: 202011288159.X
• 申請日: 2020-11-17
• 公開（公告）號: CN112434732A
• 公開（公告）日: 2021-03-02
• 發明（設計）人: 杜少毅;王娟;龍紅;韓泓丞;楊靜;崔文婷
• 申請（專利權）人: 西安交通大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06N20/00
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 王艾華

1.一種基于特征篩選的深度學習分類方法，其特征在于：該圖像分類方法包括以下步驟：

首先采集數據，對數據進行預處理，然后利用處理后的數據集分別在多個深度卷積神經網絡包括Xception，ResNet，DensNet，GooLeNet上進行模型訓練，調整模型參數使每個模型得到最優結果，將輸入圖像通過卷積神經網絡全連接層的特征向量提取出來；然后使用本發明所提出的基于特征篩選的深度學習分類方法實現最終圖像類別的精確預測。

2.根據權利要求1所述的一種基于特征篩選的深度學習分類方法，其特征在于：包括以下步驟：

1)首先收集數據集，然后對得到的數據集進行預處理，包括轉換原始數據格式、裁切數據的感興趣區域，并對數據進行旋轉，鏡像，裁切，平移，歸一化等操作，然后對數據集進行獨立同分布采樣，將數據集劃分為訓練集，驗證集和測試集；

2)利用收集數據集分別在多個深度卷積神經網絡，如Xception，ResNet，DensNet，GooLeNet等中進行網絡模型的訓練，使每個模型得到最優結果；

3)將步驟2)獲得的具有最優結果的模型進行保存，使提出的特征篩選的方法對網絡模型全連接層輸出的特征向量進行篩選，從而得到與目標類別相關性較高的特征；

4)根據步驟3)得到新的特征子集，在特征子集上采用機器學習的分類算法如支持向量機，決策樹以及邏輯回歸等實現類別預測。

3.根據權利要求2所述的一種基于特征篩選的深度學習分類方法，其特征在于：所述步驟2)包括以下具體步驟：

2.1)根據收集的數據，在多個深度卷積神經網絡，如Xception，ResNet，DensNet，GooLeNet等模型上使用相同的訓練集數據進行訓練，設置網絡的迭代次數，學習率等參數，并初始化模型的權重w和b由，通過網絡前向傳播：卷積層初步提取特征、池化層提取主要特征、全連接層將各部分特征匯總、產生分類器，得到預測值；

2.2)根據預測值與真值計算損失函數，通過函數優化方法進行反向傳播，更新模型權重w,b來減少損失，其計算公式如下：

其中，λ表示學習率，w_i表示第i個參數的權重，J(w，b)為損失函數，常用的分類損失主要是交叉熵損失函數，最后使用梯度下降法對目標函數中參數w_i和b進行權重更新。

2.3)重復上述步驟，直到達到訓練次數或訓練的模型在驗證集上的損失不再下降得到最優的分類模型。

4.根據權利要求2所述基于特征篩選的深度學習分類方法，其特征在于：所述步驟3)包含以下具體步驟：

3.1)通過訓練得到最優的模型，然后提取輸入圖像在模型全連接層的特征，基于特征篩選的準則去除該模型全連接層后的冗余，噪聲以及相關性較低的特征得到一個新的特征子集；

3.2)可選的特征篩選的準則很多，如卡方檢驗，Pearson相關系數，主成分分析等，以Pearson相關系數為例度量自變量與因變量之間的相關性，以此作為特征篩選的準則，其計算公式如下：

式中：變量A,B,假設樣本數據量為n，則兩變量之間的相關系數r_AB表示如上述公示所示，——樣本的平均值；——A和B的協方差；——A，B的標準差；

3.3)經過步驟3.2)后得到一組關于特征與目標T的Pearson相關系數按照一定篩選原則P，如對特征進行篩選。對給定n個數據樣本點{(x₁,y₁),(x₂,y₂),…,(x_n,y_n)}，其中每個x_i由m個特征屬性(A_i1；A_i2；…；A_im)描述實例，A_ij表示樣本x_i的第j個屬性上的取值。如果特征A_i(i＜m)的相關系數則保留此特征，反之則舍棄該特征。通過這樣的篩選方法可以得到一個新的特征集，該特征集是原始數據特征集的子集。

5.根據權利要求2所述一種基于特征篩選的深度學習分類方法，其特征在于：所述步驟4)包含以下具體步驟：

4.1)根據步驟3)得到一組與目標相關性高，低冗余的特征子集；

4.2)根據步驟4.1)，采用機器學習的算法：支持向量機，決策樹，邏輯回歸等算法，設置模型參數，在該特征子集的訓練集數據訓練模型；

4.3)根據步驟4.2)根據訓練好的模型，在測試集上進行訓練實現類別的精確預測。