[發(fā)明專利]自然語言處理模型的訓(xùn)練方法和裝置

有效

• 申請?zhí)枺?/td>: 202011106273.6
• 申請日: 2020-10-16
• 公開（公告）號: CN111931520B
• 公開（公告）日: 2021-02-12
• 發(fā)明（設(shè)計(jì)）人: 王凡;田浩;方曉敏;何徑舟
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06F40/56
• 分類號: G06F40/56;G06F40/30
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 石茵汀

1.一種自然語言處理模型的訓(xùn)練方法，所述方法包括：

獲取自然語言處理的元模型集合；

根據(jù)所述元模型集合，生成衍生模型，并將所述衍生模型作為元模型添加至所述元模型集合中；

對所述元模型集合進(jìn)行元訓(xùn)練，以確定所述元模型集合中經(jīng)過訓(xùn)練的每一元模型的性能參數(shù)；

根據(jù)所述性能參數(shù)，對所述元模型集合中的元模型進(jìn)行篩選，以將篩選保留的元模型進(jìn)行自然語言處理任務(wù)的適配訓(xùn)練，得到用以執(zhí)行所述自然語言處理任務(wù)的適配模型；

其中，所述對所述元模型集合進(jìn)行元訓(xùn)練，包括：從多個(gè)任務(wù)的訓(xùn)練樣本中隨機(jī)選定各輪迭代訓(xùn)練過程的目標(biāo)訓(xùn)練樣本，對所述元模型集合中的每一個(gè)元模型執(zhí)行多輪迭代訓(xùn)練過程。

2.根據(jù)權(quán)利要求1所述的訓(xùn)練方法，其中，所述根據(jù)所述元模型集合，生成衍生模型，包括：

對所述元模型集合內(nèi)的元模型，更新模型參數(shù)的初始值，以生成所述衍生模型。

3.根據(jù)權(quán)利要求2所述的訓(xùn)練方法，其中，所述對所述元模型集合內(nèi)的元模型，更新所述模型參數(shù)的初始值，以生成所述衍生模型，包括：

從所述元模型集合中，選取兩個(gè)元模型；

交換所述兩個(gè)元模型中部分所述模型參數(shù)的初始值，以得到至少兩個(gè)衍生模型。

4.根據(jù)權(quán)利要求2所述的訓(xùn)練方法，其中，所述對所述元模型集合內(nèi)的元模型，更新所述模型參數(shù)的初始值，以生成所述衍生模型，包括：

針對每一個(gè)所述元模型，將所述模型參數(shù)的初始值多次疊加噪聲，以根據(jù)每一次疊加噪聲得到的模型參數(shù)，生成對應(yīng)的一個(gè)所述衍生模型。

5.根據(jù)權(quán)利要求4所述的訓(xùn)練方法，其中，所述針對每一個(gè)所述元模型，將所述模型參數(shù)的初始值多次疊加噪聲，包括：

針對每一次疊加噪聲，根據(jù)本次疊加噪聲的元模型中各模型參數(shù)的設(shè)定噪聲方差，確定各所述模型參數(shù)的隨機(jī)高斯噪聲值；

將每一所述模型參數(shù)的隨機(jī)高斯噪聲值與對應(yīng)的所述初始值疊加，以得到疊加噪聲的各所述模型參數(shù)；

根據(jù)疊加噪聲的各所述模型參數(shù)，生成對應(yīng)的所述衍生模型。

6.根據(jù)權(quán)利要求1所述的訓(xùn)練方法，其中，所述對所述元模型集合中的每一個(gè)元模型執(zhí)行多輪迭代訓(xùn)練過程，包括：

獲取所述元模型對應(yīng)的代理，其中，所述代理包括推理器和適配器；

采用所述代理，根據(jù)各輪的所述目標(biāo)訓(xùn)練樣本，對所述元模型執(zhí)行多輪迭代訓(xùn)練過程，其中，每一輪迭代訓(xùn)練過程包括：所述推理器根據(jù)本輪的所述目標(biāo)訓(xùn)練樣本指示的輸入文本和本輪采用的元模型，生成本輪的預(yù)測文本；所述適配器獲取本輪預(yù)測文本的反饋信息，以及根據(jù)所述反饋信息、本輪的預(yù)測文本和本輪的輸入文本，更新本輪采用的元模型的模型參數(shù)，以得到下一輪采用的元模型。

7.根據(jù)權(quán)利要求6所述的訓(xùn)練方法，其中，所述確定所述元模型集合中經(jīng)過訓(xùn)練的每一元模型的性能參數(shù)，包括：

根據(jù)每一元模型在執(zhí)行各輪所述迭代訓(xùn)練過程中的所述反饋信息，生成每一元模型的性能參數(shù)。

8.根據(jù)權(quán)利要求1-5任一項(xiàng)所述的訓(xùn)練方法，其中，所述將篩選保留的元模型進(jìn)行自然語言處理任務(wù)的適配訓(xùn)練，包括：

獲取自然語言處理任務(wù)的多個(gè)訓(xùn)練樣本；

對所述篩選保留的元模型，獲取對應(yīng)的代理，其中，所述代理包括推理器和適配器；

采用所述代理，對所述篩選保留的元模型根據(jù)目標(biāo)任務(wù)的訓(xùn)練樣本，執(zhí)行多輪迭代訓(xùn)練過程；

其中，每一輪迭代訓(xùn)練過程包括：所述推理器根據(jù)本輪的目標(biāo)訓(xùn)練樣本指示的輸入文本和本輪采用的元模型，生成本輪的預(yù)測文本；所述適配器獲取本輪預(yù)測文本的反饋信息，以及根據(jù)所述反饋信息、本輪的預(yù)測文本和本輪的輸入文本，更新本輪采用的元模型的模型參數(shù)，以得到下一輪采用的元模型。