[發明專利]一種基于淺度學習的神經網絡遷移方法

有效

• 申請號: 201811388026.2
• 申請日: 2018-11-20
• 公開（公告）號: CN109558942B
• 公開（公告）日: 2021-11-26
• 發明（設計）人: 牛新征;劉鵬飛;徐暢;李柯江;朱家輝;陳加偉;朱戈;潘袁湘
• 申請（專利權）人: 電子科技大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 成都弘毅天承知識產權代理有限公司 51230
• 代理人: 楊保剛

1.一種基于淺度學習的神經網絡遷移方法，其特征在于：方法步驟如下：

步驟1、預處理目標任務數據集：劃分圖像識別相關任務，形成任務字典，并對分類的目標任務進行標記，存儲標記數據，作為淺度神經網絡的訓練數據x₀；

步驟2、預訓練淺度神經網絡：輸入步驟1的訓練數據至淺度神經網絡，逐層訓練得到預訓練的淺度神經網絡模型，預訓練的淺度神經網絡模型包括：第一卷積層，池化層，第二卷積層和分類器，訓練數據x₀經預訓練的神經網絡模型輸出數據為x₂；

所述步驟2的淺度神經網絡模型中，預訓練的淺度神經網絡模型數據處理過程具體為：訓練數據x₀經過第一卷積層的卷積，輸出得到x₁，x₁經過池化層下采樣，輸出得到x₂，將x₁輸入第二卷積層，再經過分類器，輸出預測結果為z₀，預訓練淺度神經網絡模型構建的計算公式如下：

其中：c表示劃分目標任務數據集的類別數量；P表示池化算子；W_θ表示一個帶有參數θ的卷積算子；S表示分類器；ρ表示一個Relu激活函數；R^c表示識別任務集；C_y是一個CNN淺度神經網絡層；

步驟3、遷移網絡：將步驟2得到的預訓練的淺度神經網絡模型輸出數據x₂作為目標任務的深度神經網絡模型的輸入，以目標任務的帶標記數據訓練整個深度神經網絡，對整個網絡參數進行微調，帶標記數據包括x₀和完成目標任務的公司或個人自身收集或標注的數據。

2.根據權利要求1所述的一種基于淺度學習的神經網絡遷移方法，其特征在于：所述步驟1中可對目標任務數據集進行拓展，只需相應地對增加的目標任務數據增加標記數據即可。

3.根據權利要求1所述的一種基于淺度學習的神經網絡遷移方法，其特征在于：所述步驟2預訓練的淺度神經網絡模型中兩個卷積層都采用3×3卷積核操作。

4.根據權利要求1所述的一種基于淺度學習的神經網絡遷移方法，其特征在于：所述步驟2中池化層的數據處理方法選擇的是可逆的下采樣運算，其中包括將初始的空間通道重組成4個以空間方式抽取的副本，這些副本通過2×2的空間子采樣獲得，從而將分辨率降低2倍。

5.根據權利要求1所述的一種基于淺度學習的神經網絡遷移方法，其特征在于：所述步驟2預訓練淺度神經網絡中用C_yx₀表示第一卷積層的逐層訓練過程，C_yx₀用如下公式表示：

其中：W₀…W_k-2表示寬度恒定的卷積層；L表示一個輸出維度為c的線性算子；當k＝1時，C_y是一個簡單的線性模型，即僅訓練帶有一個隱藏層的CNN淺度神經網絡層，當這層網絡訓練結束之后才開始訓練一個有兩個隱藏層的CNN淺度神經網絡層，以此類推，在每一次訓練中，把已經訓練好的前k-1層固定，然后增加第k層，在訓練好具有三層隱藏層之后結束。

6.根據權利要求1所述的一種基于淺度學習的神經網絡遷移方法，其特征在于：當劃分目標任務數據集的類別數量增加時，只需將所述步驟2中預訓練的淺度神經網絡模型對應增加相同數量的分類器。