[發(fā)明專利]一種動態(tài)標(biāo)簽深度學(xué)習(xí)算法

在審

• 申請?zhí)枺?/td>: 202010574961.9
• 申請日: 2020-06-22
• 公開（公告）號: CN111709488A
• 公開（公告）日: 2020-09-25
• 發(fā)明（設(shè)計）人: 劉德富;楊國武
• 申請（專利權(quán)）人: 電子科技大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/40
• 代理公司: 成都正華專利代理事務(wù)所(普通合伙) 51229
• 代理人: 李蕊

本發(fā)明公開了一種動態(tài)標(biāo)簽深度學(xué)習(xí)算法，包括S1、輸入數(shù)據(jù)集D；S2、隨機(jī)初始化分類器f(x；0)；S3、隨機(jī)將數(shù)據(jù)集D劃分為訓(xùn)練集D_train和驗證集D_valid；S4、對訓(xùn)練集D_train的每個樣本，根據(jù)標(biāo)簽遷移概率矩陣T隨機(jī)選擇一個新的標(biāo)簽，形成新的訓(xùn)練集D_new；S5、在新的訓(xùn)練集D_new上訓(xùn)練分類器f(x；0)；S6、在驗證集D_valid上測試分類器f(x；0)精度；S7、重復(fù)步驟S4?步驟S6，直至分類器精度達(dá)到預(yù)設(shè)值。本發(fā)明可以有效地避免模型過擬合，學(xué)習(xí)到泛化性能更好的模型，具有良好的抗噪聲能力和抗過擬合能力，有效地解決了噪聲訓(xùn)練集的最優(yōu)分類器學(xué)習(xí)問題。

技術(shù)領(lǐng)域

本發(fā)明屬于深度學(xué)習(xí)的技術(shù)領(lǐng)域，具體涉及一種動態(tài)標(biāo)簽深度學(xué)習(xí)算法。

背景技術(shù)

近年來，基于大規(guī)模無噪聲訓(xùn)練集的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)分類模型獲得了巨大的進(jìn)步。然而，大規(guī)模無噪聲訓(xùn)練集的獲取在現(xiàn)實生活中非常的困難。人工標(biāo)注大規(guī)模無噪聲訓(xùn)練集是非常的昂貴和費(fèi)時。當(dāng)訓(xùn)練集的標(biāo)簽有噪聲時，稱為標(biāo)簽噪聲，訓(xùn)練集被稱為噪聲訓(xùn)練集。在機(jī)器學(xué)習(xí)和深度學(xué)習(xí)中，訓(xùn)練集的標(biāo)簽噪聲嚴(yán)重影響模型的性能。解決噪聲訓(xùn)練集的分類問題有非常重要的現(xiàn)實意義，是機(jī)器學(xué)習(xí)和深度學(xué)習(xí)研究的熱點之一，并且在機(jī)器學(xué)習(xí)和深度學(xué)習(xí)領(lǐng)域引起了極大的興趣。已有許多方法被提出來解決噪聲訓(xùn)練集的分類問題，這些方法可以粗略概括為三類方法：數(shù)據(jù)清洗，目標(biāo)函數(shù)校正，選擇魯棒性損失函數(shù)。

數(shù)據(jù)清洗方法是對噪聲訓(xùn)練集進(jìn)行過濾，識別出訓(xùn)練集中標(biāo)簽正確的樣本對，并以此構(gòu)建新的訓(xùn)練集來學(xué)習(xí)分類器，這類方法依賴于對原訓(xùn)練集標(biāo)簽是否正確的判斷。

目標(biāo)函數(shù)修正方法是通過對訓(xùn)練集的噪聲分布估計來校正模型目標(biāo)函數(shù)，這類方法依賴于訓(xùn)練集的噪聲分布估計。

不同于前面兩種方法，選擇魯棒性損失函數(shù)不需要額外的處理操作，這類方法把訓(xùn)練集的正確標(biāo)簽和錯誤標(biāo)簽看作是一樣的，但由于這類損失函數(shù)的性質(zhì)獲得了噪聲魯棒性。具備魯棒性的損失函數(shù)被證明在噪聲數(shù)據(jù)集下學(xué)習(xí)到的最優(yōu)分類器也是無噪聲數(shù)據(jù)集的最優(yōu)分類器。這類魯棒性損失函數(shù)通常對標(biāo)簽不敏感，因此，在大規(guī)模數(shù)據(jù)集中模型學(xué)習(xí)時間比較長。許多為無噪聲訓(xùn)練集設(shè)計的代理損失函數(shù)在噪聲訓(xùn)練集的模型學(xué)習(xí)不具有噪聲魯棒性。比如，分類交叉嫡損失函數(shù)(CCE)具有快速收斂的特性，在實際應(yīng)用中被廣泛使用，但是在噪聲訓(xùn)練集不具有噪聲魯棒性，模型性能急劇下降。

尋找一個具有噪聲魯棒性和抗過擬合而不依賴于魯棒性損失函數(shù)的深度學(xué)習(xí)方法具有非常重要的研究價值和現(xiàn)實意義。本發(fā)明設(shè)計了一個動態(tài)標(biāo)簽深度學(xué)習(xí)算法。該算法具有內(nèi)在的抗噪聲性質(zhì)和抗過擬合性質(zhì)，并且算法不依賴于魯棒性損失函數(shù)，可以使用任意代理損失函數(shù)。實驗表明算法在噪聲訓(xùn)練集或者無噪聲訓(xùn)練下都可以有效地學(xué)習(xí)到最優(yōu)分類器，算法具有良好的噪聲魯棒性和抗過擬合性質(zhì)。

發(fā)明內(nèi)容

本發(fā)明的目的在于針對現(xiàn)有技術(shù)中的上述不足，提供一種動態(tài)標(biāo)簽深度學(xué)習(xí)算法，以解決現(xiàn)有分類模型在訓(xùn)練過程中的過擬合問題和在噪聲訓(xùn)練集學(xué)習(xí)無噪聲子集的最優(yōu)分類器的問題。

為達(dá)到上述目的，本發(fā)明采取的技術(shù)方案是：

一種動態(tài)標(biāo)簽深度學(xué)習(xí)算法，其包括：

S1、輸入數(shù)據(jù)集D；

S2、隨機(jī)初始化分類器f(x；0)；

S3、隨機(jī)將數(shù)據(jù)集D劃分為訓(xùn)練集D_train和驗證集D_valid；

S4、對訓(xùn)練集D_train的每個樣本，根據(jù)標(biāo)簽遷移概率矩陣T隨機(jī)選擇一個新的標(biāo)簽，形成新的訓(xùn)練集D_new；

S5、在新的訓(xùn)練集D_new上訓(xùn)練分類器f(x；0)；