[發(fā)明專利]一種多任務(wù)模型蒸餾方法、系統(tǒng)、介質(zhì)及電子終端

在審

• 申請(qǐng)?zhí)枺?/td>: 202111009408.1
• 申請(qǐng)日: 2021-08-31
• 公開(kāi)（公告）號(hào): CN113706347A
• 公開(kāi)（公告）日: 2021-11-26
• 發(fā)明（設(shè)計(jì)）人: 何哲宇
• 申請(qǐng)（專利權(quán)）人: 深圳壹賬通智能科技有限公司
• 主分類號(hào): G06Q50/20
• 分類號(hào): G06Q50/20;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海漢之律師事務(wù)所 31378
• 代理人: 馮華

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種多任務(wù)模型蒸餾方法、系統(tǒng)、介質(zhì)及電子終端，方法包括：當(dāng)按照預(yù)設(shè)的任務(wù)訓(xùn)練順序?qū)Χ嗳蝿?wù)模型進(jìn)行多個(gè)任務(wù)的一次輪換訓(xùn)練時(shí)，凍結(jié)多任務(wù)模型的中間參數(shù)層，保留嵌入層、以及多個(gè)與任務(wù)相對(duì)應(yīng)的分類層，多任務(wù)模型的中間參數(shù)層包括多個(gè)第一子層，凍結(jié)多任務(wù)模型的中間參數(shù)層的步驟包括：凍結(jié)多任務(wù)模型的中間參數(shù)層中的全部參數(shù)或部分參數(shù)；將經(jīng)過(guò)多任務(wù)輪換訓(xùn)練的嵌入層、凍結(jié)的中間參數(shù)層以及與任務(wù)對(duì)應(yīng)的任一分類層作為教師模型，利用教師模型，進(jìn)行模型蒸餾，獲取多個(gè)蒸餾后的學(xué)生模型，對(duì)多個(gè)蒸餾后的學(xué)生模型進(jìn)行二次輪換訓(xùn)練，進(jìn)而確定最終模型，避免多任務(wù)之間產(chǎn)生對(duì)抗。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種多任務(wù)模型蒸餾方法、系統(tǒng)、介質(zhì)及電子終端。

背景技術(shù)

由于Transformer-based(基于Transformer)的新一代算法模型往往需要消耗大量的算力與運(yùn)算時(shí)間，這對(duì)需要控制時(shí)間與經(jīng)濟(jì)成本的一些應(yīng)用是無(wú)法接受的，Transformer為基于注意力機(jī)制的編碼器-解碼器(Encoder-Decoder)結(jié)構(gòu)。因此，模型蒸餾(model distillation)作為一種壓縮模型的技術(shù)應(yīng)運(yùn)而生，即通過(guò)設(shè)計(jì)teacher-student這樣的模型訓(xùn)練框架，使得小參數(shù)量的模型在大參數(shù)量模型的“監(jiān)督”下得到近似于大模型的表現(xiàn)，teacher-student指模型蒸餾過(guò)程中教師模型和學(xué)生模型組成的模型訓(xùn)練架構(gòu)。除此之外，多任務(wù)模型的設(shè)計(jì)同樣可以壓縮模型的大小。所以，很容易讓人聯(lián)想到，在多任務(wù)模型的基礎(chǔ)上進(jìn)行蒸餾，實(shí)現(xiàn)對(duì)模型的進(jìn)一步壓縮。

然而，在實(shí)際處理過(guò)程中，多任務(wù)模型的訓(xùn)練數(shù)據(jù)通常是不均衡的，甚至是跨領(lǐng)域的語(yǔ)料，又由于下游任務(wù)標(biāo)簽集的不同，在多任務(wù)模型的蒸餾過(guò)程中，多個(gè)任務(wù)之間會(huì)產(chǎn)生對(duì)抗，不能達(dá)到互相促進(jìn)的訓(xùn)練效果。

發(fā)明內(nèi)容

本發(fā)明提供一種多任務(wù)模型蒸餾方法、系統(tǒng)、介質(zhì)及電子終端，以解決現(xiàn)有技術(shù)中由于多任務(wù)模型的訓(xùn)練數(shù)據(jù)不均衡，導(dǎo)致在模型蒸餾過(guò)程中多任務(wù)之間容易產(chǎn)生對(duì)抗，不能較好地達(dá)到相互促進(jìn)的訓(xùn)練效果，且蒸餾后的多任務(wù)模型精確度較低的問(wèn)題。

本發(fā)明提供的多任務(wù)模型蒸餾方法，包括：

當(dāng)按照預(yù)設(shè)的任務(wù)訓(xùn)練順序?qū)Χ嗳蝿?wù)模型進(jìn)行多個(gè)任務(wù)的一次輪換訓(xùn)練時(shí)，凍結(jié)多任務(wù)模型的中間參數(shù)層，保留嵌入層、以及多個(gè)與任務(wù)相對(duì)應(yīng)的分類層，所述多任務(wù)模型的中間參數(shù)層包括多個(gè)第一子層，所述凍結(jié)多任務(wù)模型的中間參數(shù)層的步驟包括：凍結(jié)多任務(wù)模型的中間參數(shù)層中的全部參數(shù)或部分參數(shù)，所述部分參數(shù)包括從靠近所述嵌入層的第一子層開(kāi)始，多個(gè)連續(xù)的第一子層的參數(shù)；

將經(jīng)過(guò)多任務(wù)輪換訓(xùn)練的嵌入層、凍結(jié)的中間參數(shù)層以及與任務(wù)對(duì)應(yīng)的任一分類層作為教師模型，利用所述教師模型，進(jìn)行模型蒸餾，獲取多個(gè)蒸餾后的學(xué)生模型；

根據(jù)所述任務(wù)訓(xùn)練順序，對(duì)多個(gè)蒸餾后的學(xué)生模型進(jìn)行二次輪換訓(xùn)練，獲取經(jīng)過(guò)二次輪換訓(xùn)練的學(xué)生模型；

根據(jù)經(jīng)過(guò)二次輪換訓(xùn)練的學(xué)生模型，確定最終模型。

可選的，對(duì)多個(gè)蒸餾后的學(xué)生模型進(jìn)行二次輪換訓(xùn)練的步驟包括：

對(duì)蒸餾后的學(xué)生模型的中間參數(shù)層進(jìn)行凍結(jié)，所述對(duì)蒸餾后的學(xué)生模型的中間參數(shù)層進(jìn)行凍結(jié)的步驟包括：對(duì)蒸餾后的學(xué)生模型的中間參數(shù)層中的全部參數(shù)或部分參數(shù)進(jìn)行凍結(jié)，所述蒸餾后的學(xué)生模型的中間參數(shù)層包括多個(gè)第二子層，所述部分參數(shù)包括自靠近蒸餾后的學(xué)生模型的嵌入層的第二子層起，多個(gè)連續(xù)的第二子層的參數(shù)；

并且，保留蒸餾后的學(xué)生模型的嵌入層、以及對(duì)應(yīng)的分類層，進(jìn)而獲取經(jīng)過(guò)二次輪換訓(xùn)練的學(xué)生模型。

可選的，凍結(jié)多任務(wù)模型的中間參數(shù)層中的全部參數(shù)或部分參數(shù)的步驟包括：

根據(jù)預(yù)先設(shè)置的第一凍結(jié)層數(shù)，從靠近多任務(wù)模型的嵌入層的第一子層開(kāi)始，獲取第一待凍結(jié)子層；

根據(jù)所述第一待凍結(jié)子層，確定第一待凍結(jié)參數(shù)；