[發(fā)明專利]一種集成模型的自適應(yīng)多樣性增強(qiáng)訓(xùn)練方法及裝置

在審

• 申請?zhí)枺?/td>: 201910247718.3
• 申請日: 2019-03-29
• 公開（公告）號: CN110046694A
• 公開（公告）日: 2019-07-23
• 發(fā)明（設(shè)計(jì)）人: 朱軍;龐天宇;許堃;杜超;陳寧
• 申請（專利權(quán)）人: 清華大學(xué)
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 北京路浩知識產(chǎn)權(quán)代理有限公司 11002
• 代理人: 王慶龍;周永君

本發(fā)明實(shí)施例提供一種集成模型的自適應(yīng)多樣性增強(qiáng)訓(xùn)練方法及裝置，將待訓(xùn)練的集成模型作為目標(biāo)集成模型，根據(jù)目標(biāo)集成模型中各個子模型的輸出獲得目標(biāo)正則項(xiàng)，并將目標(biāo)正則項(xiàng)加入到目標(biāo)集成模型的每個子模型的迭代訓(xùn)練過程中，當(dāng)且僅當(dāng)目標(biāo)集成模型中的所有子模型均訓(xùn)練至收斂狀態(tài)時，則確定目標(biāo)集成模型訓(xùn)練完成。該方法及裝置所引入的目標(biāo)正則項(xiàng)中充分考慮了目標(biāo)集成模型中的各個子模型之間的相互作用，將目標(biāo)正則項(xiàng)加入到目標(biāo)集成模型的每個子模型的迭代訓(xùn)練中，有利于提高目標(biāo)集成模型的魯棒性和可靠性。

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域，更具體地，涉及一種集成模型的自適應(yīng)多樣性增強(qiáng)訓(xùn)練方法及裝置。

背景技術(shù)

目前，神經(jīng)網(wǎng)絡(luò)在各個領(lǐng)域上都取得了巨大的成功，包括圖像識別、語音識別以及自然語言處理等領(lǐng)域。然而，神經(jīng)網(wǎng)絡(luò)模型在對抗環(huán)境中往往很容易受到攻擊，在對抗環(huán)境中，神經(jīng)網(wǎng)絡(luò)模型會被輸入一些基于正常樣本精心計(jì)算得到的對抗樣本，例如圖片或者語音信息，這些對抗樣本很容易被神經(jīng)網(wǎng)絡(luò)模型錯誤分類。有鑒于此，提高神經(jīng)網(wǎng)絡(luò)模型的魯棒性和可靠性已成為現(xiàn)今研究的熱點(diǎn)。

目前已有一些學(xué)者提出了提高神經(jīng)網(wǎng)絡(luò)模型的魯棒性和可靠性的訓(xùn)練策略。例如，Szegedy C以及Matry等人提出的對抗訓(xùn)練策略是隨著訓(xùn)練過程動態(tài)地利用對抗樣本擴(kuò)充訓(xùn)練集。然而，現(xiàn)有的訓(xùn)練策略均是聚焦于提高單個神經(jīng)網(wǎng)絡(luò)模型的魯棒性和可靠性，在實(shí)際應(yīng)用中，各領(lǐng)域中所使用的神經(jīng)網(wǎng)絡(luò)模型往往是由多個子模型組成的集成模型，由于集成模型中各個子模型之間存在相互作用，因此現(xiàn)有的訓(xùn)練策略難以有效提高集成模型的魯棒性和可靠性。

有鑒于此，亟需提供一種集成模型的訓(xùn)練方法及裝置，以能夠有效提高集成模型的魯棒性和可靠性。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例為了克服現(xiàn)有的訓(xùn)練策略難以有效提高集成模型的魯棒性和可靠性的問題，提供一種集成模型的自適應(yīng)多樣性增強(qiáng)訓(xùn)練方法及裝置。

第一方面，本發(fā)明實(shí)施例提供一種集成模型的自適應(yīng)多樣性增強(qiáng)訓(xùn)練方法，包括：

將待訓(xùn)練的集成模型作為目標(biāo)集成模型，根據(jù)所述目標(biāo)集成模型中各個子模型的輸出獲得目標(biāo)正則項(xiàng)，根據(jù)所述目標(biāo)集成模型中所有子模型各自對應(yīng)的交叉熵?fù)p失函數(shù)和所述目標(biāo)正則項(xiàng)構(gòu)造所述目標(biāo)集成模型對應(yīng)的目標(biāo)函數(shù)；

對于所述目標(biāo)集成模型中的任意一個子模型，根據(jù)預(yù)設(shè)訓(xùn)練集對所述子模型進(jìn)行迭代訓(xùn)練，對于任意一個當(dāng)前迭代過程，基于梯度下降算法根據(jù)所述子模型在上一次迭代過程中的網(wǎng)絡(luò)參數(shù)和所述目標(biāo)集成模型對應(yīng)的目標(biāo)函數(shù)更新獲得所述子模型在當(dāng)前迭代過程中的網(wǎng)絡(luò)參數(shù)；

若所述子模型在當(dāng)前迭代過程中的網(wǎng)絡(luò)參數(shù)與所述子模型在上一次迭代過程中的網(wǎng)絡(luò)參數(shù)的差值不大于預(yù)設(shè)閾值，則所述子模型為收斂狀態(tài)，當(dāng)且僅當(dāng)所述目標(biāo)集成模型中的所有子模型均為收斂狀態(tài)時，確定所述目標(biāo)集成模型訓(xùn)練完成。

第二方面，本發(fā)明實(shí)施例提供一種集成模型的自適應(yīng)多樣性增強(qiáng)訓(xùn)練裝置，包括：

目標(biāo)函數(shù)構(gòu)造模塊，用于將待訓(xùn)練的集成模型作為目標(biāo)集成模型，根據(jù)所述目標(biāo)集成模型中各個子模型的輸出之間的相互作用獲得目標(biāo)正則項(xiàng)，根據(jù)所述目標(biāo)集成模型中所有子模型各自對應(yīng)的交叉熵?fù)p失函數(shù)和所述目標(biāo)正則項(xiàng)構(gòu)造所述目標(biāo)集成模型對應(yīng)的目標(biāo)函數(shù)；

子模型訓(xùn)練模塊，用于對于所述目標(biāo)集成模型中的任意一個子模型，根據(jù)預(yù)設(shè)訓(xùn)練集對所述子模型進(jìn)行迭代訓(xùn)練，對于任意一個當(dāng)前迭代過程，基于梯度下降算法根據(jù)所述子模型在上一次迭代過程中的網(wǎng)絡(luò)參數(shù)和所述目標(biāo)集成模型對應(yīng)的目標(biāo)函數(shù)更新獲得所述子模型在當(dāng)前迭代過程中的網(wǎng)絡(luò)參數(shù)；

集成模型訓(xùn)練模塊，用于若所述子模型在當(dāng)前迭代過程中的網(wǎng)絡(luò)參數(shù)與所述子模型在上一次迭代過程中的網(wǎng)絡(luò)參數(shù)的差值不大于預(yù)設(shè)閾值，則所述子模型為收斂狀態(tài)，當(dāng)且僅當(dāng)所述目標(biāo)集成模型中的所有子模型均為收斂狀態(tài)時，確定所述目標(biāo)集成模型訓(xùn)練完成。