[發明專利]基于漸進學習的深度卷積神經網絡訓練方法與系統

在審

• 申請號: 201910665020.3
• 申請日: 2019-07-23
• 公開（公告）號: CN110414587A
• 公開（公告）日: 2019-11-05
• 發明（設計）人: 盧官明;李凱麗;盧峻禾;閆靜杰
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 孟紅梅

1.一種基于漸進學習的深度卷積神經網絡訓練方法，其特征在于，包括以下步驟：

(1)對用于分類的深度卷積神經網絡進行初始化后，從樣本數據集里任意選取樣本，對深度卷積神經網絡進行預訓練；

(2)將樣本數據集里的樣本按樣本的類別依次輸入預訓練得到的深度卷積神經網絡模型中提取特征；

(3)根據提取的特征向量計算樣本的類內局部密集度和類內距離，并依據兩者的乘積或加權和為每一類樣本選取三個聚類中心，使用聚類算法將每一類樣本分為容易分類樣本子集，較易分類樣本子集及不易分類樣本子集，設樣本數據集表示為T，樣本類別數為n，第i類的樣本數據集表示為T_i，i＝1，2，...，n，將T_i分成三個樣本子集：容易分類樣本子集T_i，1，較易分類樣本子集T_i，2及不易分類樣本子集T_i，3；

(4)將所有類別的容易分類樣本子集合并構成E₁，較易分類樣本子集合并構成E₂，不易分類樣本子集合并構成E₃，即其中，t＝1，2，3；

(5)按照先易后難的漸進順序，分三個階段對深度卷積神經網絡進行重新訓練，得到訓練好的網絡模型，其中，第一階段的訓練使用E₁中的樣本，第二階段的訓練使用E₁和E₂中的樣本，第三階段的訓練使用E₁、E₂和E₃中的樣本。

2.根據權利要求1所述的一種基于漸進學習的深度卷積神經網絡訓練方法，其特征在于，所述步驟(3)中為每一類樣本數據選取三個聚類中心的方法如下：

對于第i類的樣本數據集T_i，T_i中包含m_i個樣本，根據提取的特征向量，計算第i類的第j個樣本特征向量與第l個樣本特征向量之間的歐幾里得距離d_i，j，l，j＝1，2，...，m_i，l＝1，2，...，m_i，并進行排序，得到中值d_i，th；

對于第i類的第j個樣本，定義其類內局部密集度ρ_i，j和類內距離δ_i，j分別為：

其中，

對第i類樣本類內局部密集度ρ_i，j和類內距離δ_i，j(j＝1，2，...，m_i)的乘積或加權和進行降序排列，選取前三個乘積值或加權和值對應樣本的特征向量作為聚類中心。

3.根據權利要求2所述的一種基于漸進學習的深度卷積神經網絡訓練方法，其特征在于，所述步驟(3)中使用k均值算法，在特征空間中對第i類樣本進行聚類，得到三個簇，然后對這三個簇中樣本的類內局部密集度進行排序，取每個簇中的最小類內局部密集度值并進行降序排列得到將滿足條件的第j個樣本(j∈{1，2，...，m_i})歸為容易分類樣本子集T_i，1，將滿足條件的第j個樣本(j∈{1，2，...，m_i})歸為較易分類樣本子集T_i，2，將滿足條件的第j個樣本(j∈{1，2，...，m_i})歸為不易分類樣本子集T_i，3。

4.根據權利要求1所述的一種基于漸進學習的深度卷積神經網絡訓練方法，其特征在于，所述步驟(3)中先使用主成分分析方法對提取的特征向量進行降維操作后再計算樣本的類內局部密集度和類內距離。