[發明專利]基于漸進學習的深度卷積神經網絡訓練方法與系統

在審

• 申請號: 201910665020.3
• 申請日: 2019-07-23
• 公開（公告）號: CN110414587A
• 公開（公告）日: 2019-11-05
• 發明（設計）人: 盧官明;李凱麗;盧峻禾;閆靜杰
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 孟紅梅

本發明公開了一種基于漸進學習的深度卷積神經網絡訓練方法與系統。該方法首先按常規方法從樣本數據集里任意選取樣本，對深度卷積神經網絡進行預訓練；然后將樣本數據集里的樣本按類別依次輸入到預訓練得到的網絡模型中提取特征，并根據提取的特征向量計算樣本的類內局部密集度和類內距離，使用聚類方法將每一類樣本劃分為容易分類、較易分類和不易分類三個樣本子集；再合并所有類別的容易分類樣本子集、較易分類樣本子集和不易分類樣本子集；最后按照先易后難的漸進順序，分三個階段對深度卷積神經網絡進行重新訓練。與常規的訓練方法相比，該方法能夠消除含噪聲標簽樣本對訓練網絡模型的不利影響，得到更加魯棒的深度卷積神經網絡。

技術領域

本發明屬于機器學習領域，涉及一種基于漸進學習的深度卷積神經網絡訓練方法與系統。

背景技術

近年來，深度卷積神經網絡在人臉識別、圖像分類等多種任務中取得了巨大成功。現有的深度卷積神經網絡訓練方法通過學習大量的良好標記樣本對模型進行訓練，以便獲得較好的模型泛化能力。但是，在實際情況中，樣本標簽是具有噪聲的，比如由于標注者粗心或疲憊造成樣本具有部分錯誤標簽，或者一些圖像本來就難以分類，特別是對于一些比較專業的數據集的標注是非常困難的，它對標注者的專業知識有一定的要求，而且由于不同標注者之間的思維差異性，他們所提供的標簽可能不一致，這些含噪聲標簽樣本可能會嚴重影響深度卷積神經網絡模型的訓練及其分類性能。

目前，處理含噪聲標簽樣本的方法主要有兩種，一種是針對噪聲標簽的魯棒算法，另外一種是設計噪聲標簽清理方法，旨在消除或糾正訓練數據中的錯誤標注。然而，噪聲標簽清理方法經常會遇到難以區分噪聲標簽樣本與難分類樣本的問題，而難分類樣本對于提高模型性能是至關重要的。

在處理含噪聲標簽樣本方面，現有已公開專利文獻中有一項申請公布號為CN109034248A、名稱為“一種基于深度學習的含噪聲標簽圖像的分類方法”的發明專利，該發明首先通過數據提純得到baseline數據集，使用baseline數據集訓練得到baseline模型，用于提取樣本特征，然后使用層次聚類，對樣本進行重新標注，得到分類數據集data，然后使用data數據集對short_inception網絡進行訓練，得到最終分類模型。該方法在提純過程中，可能會遇到難以區分噪聲標簽樣本與難分類樣本的問題，而難分類樣本對于提高模型性能是至關重要的。

發明內容

發明目的：本發明針對現有技術的不足提供一種基于漸進學習的深度卷積神經網絡訓練方法與系統，其目的在于克服目前噪聲標簽處理方法中，難分類樣本和噪聲標簽樣本難以區分的問題。本發明在訓練過程中，按照先易后難的漸進順序，先用容易分類樣本、后用不易分類樣本分三階段對深度卷積神經網絡進行訓練，與常規的訓練方法相比，該方法能夠消除含噪聲標簽樣本對訓練網絡模型的不利影響，得到更加魯棒的深度卷積神經網絡。

技術方案：為實現上述發明目的，本發明采取的技術方案如下：

一種基于漸進學習的深度卷積神經網絡訓練方法，包括以下步驟：

(1)對用于分類的深度卷積神經網絡進行初始化后，從樣本數據集里任意選取樣本，對深度卷積神經網絡進行預訓練；

(2)將樣本數據集里的樣本按樣本的類別依次輸入預訓練得到的深度卷積神經網絡模型中提取特征；

(3)根據提取的特征向量計算樣本的類內局部密集度和類內距離，并依據兩者的乘積或加權和為每一類樣本選取三個聚類中心，使用聚類算法將每一類樣本分為容易分類樣本子集，較易分類樣本子集及不易分類樣本子集，設樣本數據集表示為T，樣本類別數為n，第i類的樣本數據集表示為T_i，i＝1，2，...，n，將T_i分成三個樣本子集：容易分類樣本子集T_i，1，較易分類樣本子集T_i，2及不易分類樣本子集T_i，3；