[發(fā)明專(zhuān)利]跨語(yǔ)言的任務(wù)訓(xùn)練

在審

• 申請(qǐng)?zhí)枺?/td>: 201910447514.4
• 申請(qǐng)日: 2019-05-27
• 公開(kāi)（公告）號(hào): CN112084295A
• 公開(kāi)（公告）日: 2020-12-15
• 發(fā)明（設(shè)計(jì)）人: 梁耀波;段楠;公明;壽林鈞;姜大昕;周明
• 申請(qǐng)（專(zhuān)利權(quán)）人: 微軟技術(shù)許可有限責(zé)任公司
• 主分類(lèi)號(hào): G06F16/33
• 分類(lèi)號(hào): G06F16/33;G06F16/332;G06F40/30;G06N3/08
• 代理公司: 北京市金杜律師事務(wù)所 11256
• 代理人: 王茂華;丁君軍

在本公開(kāi)的實(shí)施例中，提出了一種跨語(yǔ)言的任務(wù)訓(xùn)練方法。在獲得一種語(yǔ)言的訓(xùn)練句子之后，對(duì)訓(xùn)練句子中的某個(gè)詞語(yǔ)進(jìn)行掩碼，然后獲得與被掩碼的詞語(yǔ)相對(duì)應(yīng)的另一種語(yǔ)言的對(duì)應(yīng)詞語(yǔ)。接下來(lái)，使用一種語(yǔ)言的掩碼句子和另一種語(yǔ)言的對(duì)應(yīng)詞語(yǔ)來(lái)預(yù)訓(xùn)練跨語(yǔ)言模型。經(jīng)過(guò)預(yù)訓(xùn)練的跨語(yǔ)言模型具備多語(yǔ)言的理解和處理能力，其可以根據(jù)特定任務(wù)再進(jìn)行進(jìn)一步訓(xùn)練。根據(jù)本公開(kāi)的實(shí)施例，在一種語(yǔ)言存在大量訓(xùn)練語(yǔ)料而另一種語(yǔ)言存在較少甚至沒(méi)有訓(xùn)練語(yǔ)料的情況下，可以通過(guò)跨語(yǔ)言訓(xùn)練方式來(lái)預(yù)訓(xùn)練跨語(yǔ)言模型，使得跨語(yǔ)言模型能夠適用于另一種語(yǔ)言，由此實(shí)現(xiàn)針對(duì)各種語(yǔ)言的模型訓(xùn)練。

背景技術(shù)

自然語(yǔ)言處理是指利用計(jì)算機(jī)處理人類(lèi)自然語(yǔ)言的技術(shù)，自然語(yǔ)言處理使得計(jì)算機(jī)能夠理解人類(lèi)語(yǔ)言。計(jì)算機(jī)通過(guò)人工標(biāo)注的語(yǔ)料庫(kù)進(jìn)行訓(xùn)練，能夠生成自然語(yǔ)言的語(yǔ)義表示。自然語(yǔ)言處理是人工智能領(lǐng)域的一個(gè)熱門(mén)方向，其可以應(yīng)用于語(yǔ)義分析、信息檢索、機(jī)器翻譯、自動(dòng)問(wèn)答、以及聊天機(jī)器人，等等。

語(yǔ)言模型是一串詞序列的概率分布，其是自然語(yǔ)言處理技術(shù)的基礎(chǔ)。通常，語(yǔ)言模型可以通過(guò)大量語(yǔ)料庫(kù)的訓(xùn)練而被構(gòu)建。例如，基于神經(jīng)網(wǎng)絡(luò)的語(yǔ)言模型可以使用一個(gè)三層前饋神經(jīng)網(wǎng)絡(luò)，其在訓(xùn)練的過(guò)程中基于反向傳播技術(shù)來(lái)優(yōu)化基于神經(jīng)網(wǎng)絡(luò)的語(yǔ)言模型中的參數(shù)。訓(xùn)練好的語(yǔ)言模型能夠?qū)W習(xí)到句子或詞語(yǔ)之間的關(guān)系，因而可以用于預(yù)測(cè)下一詞語(yǔ)或下一句子等。

發(fā)明內(nèi)容

在本公開(kāi)的實(shí)施例中，提出了一種跨語(yǔ)言的任務(wù)訓(xùn)練方法。在獲得一種語(yǔ)言的訓(xùn)練句子之后，對(duì)訓(xùn)練句子中的某個(gè)詞語(yǔ)進(jìn)行掩碼，并獲得與被掩碼的詞語(yǔ)相對(duì)應(yīng)的另一種語(yǔ)言的對(duì)應(yīng)詞語(yǔ)。然后，使用一種語(yǔ)言的掩碼句子和另一種語(yǔ)言的對(duì)應(yīng)詞語(yǔ)來(lái)預(yù)訓(xùn)練跨語(yǔ)言模型。經(jīng)過(guò)預(yù)訓(xùn)練的跨語(yǔ)言模型具備多語(yǔ)言的理解和處理能力，其可以根據(jù)特定任務(wù)再進(jìn)行進(jìn)一步訓(xùn)練。根據(jù)本公開(kāi)的實(shí)施例，在一種語(yǔ)言存在大量訓(xùn)練語(yǔ)料而另一種語(yǔ)言存在較少甚至沒(méi)有訓(xùn)練語(yǔ)料的情況下，可以通過(guò)跨語(yǔ)言訓(xùn)練方式來(lái)預(yù)訓(xùn)練跨語(yǔ)言模型，使得跨語(yǔ)言模型能夠適用于另一種語(yǔ)言，由此實(shí)現(xiàn)各種語(yǔ)言的模型訓(xùn)練。

提供發(fā)明內(nèi)容部分是為了簡(jiǎn)化的形式來(lái)介紹對(duì)概念的選擇，它們?cè)谙挛牡木唧w實(shí)施方式中將被進(jìn)一步描述。發(fā)明內(nèi)容部分無(wú)意標(biāo)識(shí)本公開(kāi)的關(guān)鍵特征或主要特征，也無(wú)意限制本公開(kāi)的范圍。

附圖說(shuō)明

結(jié)合附圖并參考以下詳細(xì)說(shuō)明，本公開(kāi)各實(shí)施例的上述和其他特征、優(yōu)點(diǎn)及方面將變得更加明顯。在附圖中，相同或相似的附圖標(biāo)記表示相同或相似的元素，其中：

圖1示出了其中可以實(shí)施本公開(kāi)的一個(gè)或多個(gè)實(shí)施例的計(jì)算設(shè)備/服務(wù)器的框圖；

圖2示出了其中可以實(shí)施本公開(kāi)的用于預(yù)訓(xùn)練跨語(yǔ)言模型的方法的流程圖；

圖3示出了其中可以實(shí)施本公開(kāi)的用于訓(xùn)練針對(duì)特定任務(wù)的跨語(yǔ)言模型的過(guò)程的示意圖；

圖4示出了根據(jù)本公開(kāi)的實(shí)施例的用于預(yù)訓(xùn)練跨語(yǔ)言模型的一個(gè)示例的示意圖；

圖5示出了根據(jù)本公開(kāi)的實(shí)施例的用于預(yù)訓(xùn)練跨語(yǔ)言模型的另一示例的示意圖；

圖6示出了根據(jù)本公開(kāi)的實(shí)施例的用于預(yù)訓(xùn)練跨語(yǔ)言模型的又一示例的示意圖；

圖7示出了根據(jù)本公開(kāi)的實(shí)施例的用于進(jìn)一步訓(xùn)練跨語(yǔ)言模型的示例的示意圖；

圖8示出了根據(jù)本公開(kāi)的實(shí)施例的用于微調(diào)跨語(yǔ)言模型的示例的示意圖；以及

圖9示出了根據(jù)本公開(kāi)的實(shí)施例的在搜索引擎中提供問(wèn)答的示例的示圖。

具體實(shí)施方式

下面將參照附圖更詳細(xì)地描述本公開(kāi)的實(shí)施例。雖然附圖中顯示了本公開(kāi)的某些實(shí)施例，然而應(yīng)當(dāng)理解的是，本公開(kāi)可以通過(guò)各種形式來(lái)實(shí)現(xiàn)，而且不應(yīng)該被解釋為限于這里闡述的實(shí)施例，相反提供這些實(shí)施例是為了更加透徹和完整地理解本公開(kāi)。應(yīng)當(dāng)理解的是，本公開(kāi)的附圖及實(shí)施例僅用于示例性作用，并非用于限制本公開(kāi)的保護(hù)范圍。