[發(fā)明專(zhuān)利]一種訓(xùn)練自然語(yǔ)言處理模型的方法和系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010794536.0
• 申請(qǐng)日: 2020-08-10
• 公開(kāi)（公告）號(hào): CN111950295A
• 公開(kāi)（公告）日: 2020-11-17
• 發(fā)明（設(shè)計(jì)）人: 程浩;楊曉慶;李奘
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京嘀嘀無(wú)限科技發(fā)展有限公司
• 主分類(lèi)號(hào): G06F40/30
• 分類(lèi)號(hào): G06F40/30;G06K9/62;G06N3/04;G06N3/08;G06N20/10
• 代理公司: 成都七星天知識(shí)產(chǎn)權(quán)代理有限公司 51253
• 代理人: 楊永梅

本申請(qǐng)實(shí)施例公開(kāi)了一種訓(xùn)練自然語(yǔ)言處理模型方法及系統(tǒng)。所述方法包括：獲取語(yǔ)言訓(xùn)練樣本以及初始模型，所述初始模型包括第一模型以及第二模型，所述第一模型至少包含編碼器，所述第二模型至少包含所述第一模型的編碼器；以及利用所述語(yǔ)言訓(xùn)練樣本，經(jīng)過(guò)迭代訓(xùn)練過(guò)程訓(xùn)練所述初始模型以生成自然語(yǔ)言處理模型，其中，所述迭代訓(xùn)練過(guò)程包括一次或以上的迭代，所述編碼器在每一次迭代中被更新兩次。本申請(qǐng)?jiān)谟?xùn)練執(zhí)行具體自然語(yǔ)言處理任務(wù)的第二模型時(shí)，先通過(guò)訓(xùn)練編碼器的方式對(duì)語(yǔ)言訓(xùn)練樣本進(jìn)行預(yù)處理，可以解決自然語(yǔ)言處理過(guò)程中數(shù)據(jù)集較大的問(wèn)題，提高訓(xùn)練效率以及準(zhǔn)確率。

技術(shù)領(lǐng)域

本申請(qǐng)涉及自然語(yǔ)言處理領(lǐng)域，特別涉及一種訓(xùn)練自然語(yǔ)言處理模型的方法和系統(tǒng)。

背景技術(shù)

近年來(lái)，自然語(yǔ)言處理(NLP，Natural Language Processing)作為研究人與計(jì)算機(jī)交互的語(yǔ)言問(wèn)題的基礎(chǔ)，其融合了語(yǔ)言學(xué)、計(jì)算機(jī)科學(xué)、數(shù)學(xué)科學(xué)等，也是人工智能的核心課題之一。

目前，在例如語(yǔ)義分析、情感分類(lèi)等具體的自然語(yǔ)言處理任務(wù)中，通常需要將海量的輸入文本或語(yǔ)音轉(zhuǎn)換文本數(shù)據(jù)，影響自然語(yǔ)言處理系統(tǒng)的效率及性能。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例之一提供一種訓(xùn)練自然語(yǔ)言處理模型的方法，以提高自然語(yǔ)言處理模型的訓(xùn)練效果和/或訓(xùn)練效率。

本申請(qǐng)實(shí)施例之一提供一種訓(xùn)練自然語(yǔ)言處理模型的方法。該方法包括獲取語(yǔ)言訓(xùn)練樣本以及初始模型，所述初始模型包括第一模型以及第二模型，所述第一模型至少包含編碼器，所述第二模型至少包括所述第一模型的編碼器。該方法進(jìn)一步包括利用所述語(yǔ)言訓(xùn)練樣本，經(jīng)過(guò)迭代訓(xùn)練過(guò)程訓(xùn)練所述初始模型以生成自然語(yǔ)言處理模型。其中，所述迭代訓(xùn)練過(guò)程包括一次或以上的迭代，所述編碼器在第一次迭代中被更新兩次。

本申請(qǐng)實(shí)施例之一提供一種訓(xùn)練自然語(yǔ)言處理模型的系統(tǒng)。所述系統(tǒng)包括獲取模塊和訓(xùn)練模塊。所述獲取模塊用于獲取語(yǔ)言訓(xùn)練樣本以及初始模型，所述初始模型包括第一模型以及第二模型，所述第一模型至少包含編碼器，所述第二模型至少包括所述第一模型的編碼器。所述訓(xùn)練模塊用于利用所述語(yǔ)言訓(xùn)練樣本，經(jīng)過(guò)迭代訓(xùn)練過(guò)程訓(xùn)練所述初始模型以生成自然語(yǔ)言處理模型。其中，所述迭代訓(xùn)練過(guò)程包括一次或以上的迭代，所述編碼器在每一次迭代中被更新兩次。

本申請(qǐng)實(shí)施例之一提供一種訓(xùn)練自然語(yǔ)言處理模型的裝置，包括處理器，所述處理器用于執(zhí)行上述訓(xùn)練自然語(yǔ)言處理模型的方法。

本申請(qǐng)實(shí)施例之一提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)存儲(chǔ)計(jì)算機(jī)指令，當(dāng)計(jì)算機(jī)讀取存儲(chǔ)介質(zhì)中的計(jì)算機(jī)指令后，計(jì)算機(jī)執(zhí)行上述訓(xùn)練自然語(yǔ)言處理模型方法。

附圖說(shuō)明

本申請(qǐng)將以示例性實(shí)施例的方式進(jìn)一步說(shuō)明，這些示例性實(shí)施例將通過(guò)附圖進(jìn)行詳細(xì)描述。這些實(shí)施例并非限制性的，在這些實(shí)施例中，相同的編號(hào)表示相同的結(jié)構(gòu)，其中：

圖1是根據(jù)本申請(qǐng)一些實(shí)施例所示的自然語(yǔ)言處理系統(tǒng)的應(yīng)用場(chǎng)景示意圖；

圖2是根據(jù)本申請(qǐng)一些實(shí)施例所示的處理引擎的模塊圖；

圖3是根據(jù)本申請(qǐng)一些實(shí)施例所示的訓(xùn)練自然語(yǔ)言處理模型的示例性流程圖；

圖4A是根據(jù)本申請(qǐng)一些實(shí)施例所示用于執(zhí)行迭代訓(xùn)練過(guò)程中的一次當(dāng)前迭代的示例性流程圖；

圖4B是根據(jù)本申請(qǐng)一些實(shí)施例所示的圖4A中流程400的示例性示意圖；

圖5是根據(jù)本申請(qǐng)一些實(shí)施例所示的更新當(dāng)前迭代中的第一模型的示例性流程圖；以及

圖6是根據(jù)本申請(qǐng)一些實(shí)施例所示的更新當(dāng)前迭代中的第二模型的示例性流程圖。

具體實(shí)施方式