[發(fā)明專利]一種模型訓(xùn)練方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202011561292.8
• 申請(qǐng)日: 2020-12-25
• 公開（公告）號(hào): CN112560988B
• 公開（公告）日: 2023-09-19
• 發(fā)明（設(shè)計(jì)）人: 簡仁賢;王海波;馬永寧
• 申請(qǐng)（專利權(quán)）人: 竹間智能科技（上海）有限公司
• 主分類號(hào): G06F18/214
• 分類號(hào): G06F18/214;G06F40/35
• 代理公司: 上海灣谷知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 31289
• 代理人: 倪繼祖

本申請(qǐng)?zhí)峁┝艘环N模型訓(xùn)練方法及裝置，該方法包括：使用當(dāng)前訓(xùn)練集進(jìn)行訓(xùn)練，獲得當(dāng)前訓(xùn)練模型；使用所述當(dāng)前訓(xùn)練模型對(duì)非目標(biāo)訓(xùn)練集進(jìn)行預(yù)測(cè)，獲得當(dāng)前預(yù)測(cè)結(jié)果；當(dāng)所述當(dāng)前預(yù)測(cè)結(jié)果滿足迭代停止條件時(shí)，將當(dāng)前訓(xùn)練模型作為目標(biāo)模型的最優(yōu)訓(xùn)練模型。本申請(qǐng)上述實(shí)施例提供的技術(shù)方案，不僅可以解決多個(gè)模型之間干擾的問題，并且所訓(xùn)練出的模型具有魯棒性。

技術(shù)領(lǐng)域

本申請(qǐng)涉及自然語言處理技術(shù)領(lǐng)域，特別涉及一種模型訓(xùn)練方法及裝置。

背景技術(shù)

自然語言處理系統(tǒng)在實(shí)際部署時(shí)，經(jīng)常會(huì)面臨多個(gè)模型共存的問題，即多個(gè)模型同時(shí)部署在同一個(gè)系統(tǒng)中。當(dāng)系統(tǒng)由多個(gè)模型組成時(shí)，多個(gè)模型之間會(huì)存在相互干擾的問題。例如，原本屬于A模型的內(nèi)容會(huì)誤識(shí)別為B模型的內(nèi)容，導(dǎo)致B模型處理A模型的內(nèi)容，最終處理結(jié)果出錯(cuò)。

為了解決多個(gè)模型之間的干擾問題，通常的做法是將非本模型的訓(xùn)練數(shù)據(jù)匯總在一起，然后與本模型的訓(xùn)練數(shù)據(jù)一起對(duì)本模型進(jìn)行訓(xùn)練。所獲得的訓(xùn)練后的本模型雖然可以在一定程度上緩解誤識(shí)別的情況，但是由于合并數(shù)據(jù)導(dǎo)致的數(shù)據(jù)不均衡問題，通過這種訓(xùn)練方式所訓(xùn)練出的模型會(huì)出現(xiàn)偏差，導(dǎo)致最終訓(xùn)練出的模型存在嚴(yán)重的偏見，無法代表本模型的情況。

發(fā)明內(nèi)容

有鑒于此，本申請(qǐng)實(shí)施例提供了一種迭代采樣的模型訓(xùn)練方法，不僅可以解決多個(gè)模型之間干擾的問題，并且所訓(xùn)練出的模型具有魯棒性。

本申請(qǐng)實(shí)施例提供的了一種迭代采樣的模型訓(xùn)練方法，包括：

使用當(dāng)前訓(xùn)練集進(jìn)行訓(xùn)練，獲得當(dāng)前訓(xùn)練模型；

使用所述當(dāng)前訓(xùn)練模型對(duì)非目標(biāo)訓(xùn)練集進(jìn)行預(yù)測(cè)，獲得當(dāng)前預(yù)測(cè)結(jié)果；

當(dāng)所述當(dāng)前預(yù)測(cè)結(jié)果滿足迭代停止條件時(shí)，將當(dāng)前訓(xùn)練模型作為目標(biāo)模型的最優(yōu)訓(xùn)練模型；

其中，所述非目標(biāo)訓(xùn)練集由非目標(biāo)模型的訓(xùn)練數(shù)據(jù)匯集而成，第一個(gè)當(dāng)前訓(xùn)練集由目標(biāo)模型的訓(xùn)練數(shù)據(jù)和N1個(gè)非目標(biāo)訓(xùn)練集中的數(shù)據(jù)匯集而成。

在一個(gè)實(shí)施例中，當(dāng)所述當(dāng)前預(yù)測(cè)結(jié)果不滿足迭代停止條件時(shí)，選取N2個(gè)導(dǎo)致不滿足迭代停止條件的數(shù)據(jù)加入當(dāng)前訓(xùn)練集中，形成下一個(gè)當(dāng)前訓(xùn)練集。

在一個(gè)實(shí)施例中，所述使用所述當(dāng)前訓(xùn)練模型對(duì)非目標(biāo)訓(xùn)練集進(jìn)行預(yù)測(cè)，獲得當(dāng)前預(yù)測(cè)結(jié)果，包括：所述當(dāng)前訓(xùn)練模型預(yù)測(cè)所述非目標(biāo)訓(xùn)練集中的每個(gè)數(shù)據(jù)是否與所述當(dāng)前訓(xùn)練模型有關(guān)，當(dāng)數(shù)據(jù)與所述當(dāng)前訓(xùn)練模型有關(guān)時(shí)，將該數(shù)據(jù)標(biāo)注為相關(guān)數(shù)據(jù)；統(tǒng)計(jì)相關(guān)數(shù)據(jù)的數(shù)量，并作為所述當(dāng)前預(yù)測(cè)結(jié)果。

在一個(gè)實(shí)施例中，所述當(dāng)所述當(dāng)前預(yù)測(cè)結(jié)果不滿足迭代停止條件時(shí)，選取N2個(gè)導(dǎo)致不滿足迭代停止條件的數(shù)據(jù)加入當(dāng)前訓(xùn)練集中，包括：當(dāng)所述相關(guān)數(shù)據(jù)的數(shù)量大于預(yù)設(shè)數(shù)量閾值時(shí)，選取N2個(gè)所述相關(guān)數(shù)據(jù)加入所述當(dāng)前訓(xùn)練集中。

在一個(gè)實(shí)施例中，所述當(dāng)所述當(dāng)前預(yù)測(cè)結(jié)果不滿足迭代停止條件時(shí)，選取N2個(gè)導(dǎo)致不滿足迭代停止條件的數(shù)據(jù)加入當(dāng)前訓(xùn)練集中，包括：計(jì)算所述相關(guān)數(shù)據(jù)在所述非目標(biāo)訓(xùn)練集中的比例，當(dāng)該比例大于預(yù)設(shè)比例閾值時(shí)，選取N2個(gè)所述相關(guān)數(shù)據(jù)加入所述當(dāng)前訓(xùn)練集中。

在一個(gè)實(shí)施例中，所述N1、N2、預(yù)設(shè)數(shù)量閾值和預(yù)設(shè)比例閾值均為超參數(shù)。

在一個(gè)實(shí)施例中，所述N1為目標(biāo)模型的訓(xùn)練數(shù)據(jù)量和目標(biāo)模型的訓(xùn)練數(shù)據(jù)類目量的比值。

在一個(gè)實(shí)施例中，當(dāng)所述相關(guān)數(shù)據(jù)的數(shù)量小于N2的五分之一時(shí)，所述N2為相關(guān)數(shù)據(jù)的數(shù)量；當(dāng)所述相關(guān)數(shù)據(jù)大于等于N2的五分之一時(shí)，所述N2為N1的五分之一。

在一個(gè)實(shí)施例中，所述預(yù)設(shè)比例閾值為1％。