[發(fā)明專利]基于生成式對抗網(wǎng)絡(luò)的自然語言處理文本建模

有效

• 申請?zhí)枺?/td>: 201910623780.8
• 申請日: 2019-07-11
• 公開（公告）號: CN110781666B
• 公開（公告）日: 2023-09-05
• 發(fā)明（設(shè)計）人: D.杜阿;C.N.D.桑托斯;周伯文
• 申請（專利權(quán)）人: 國際商業(yè)機器公司
• 主分類號: G06F40/253
• 分類號: G06F40/253;G06F40/30;G06N3/0475;G06N3/094
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 邸萬奎

提供了用于實施用于自然語言處理的生成式對抗網(wǎng)絡(luò)(GAN)的機制。利用這些機制，GAN的生成器神經(jīng)網(wǎng)絡(luò)被配置為基于噪聲向量輸入生成n元語法袋輸出，以及GAN的鑒別器神經(jīng)網(wǎng)絡(luò)被配置為接收BoN輸入，其中BoN輸入是來自生成器神經(jīng)網(wǎng)絡(luò)的BoN輸出，或者是與自然語言文本的實際部分相關(guān)聯(lián)的BoN輸入。這些機制進一步配置GAN的鑒別器神經(jīng)網(wǎng)絡(luò)，以輸出關(guān)于輸入的BoN是來自自然語言文本的實際部分還是是生成器神經(jīng)網(wǎng)絡(luò)的BoN輸出的概率的指示。此外，該機制基于反饋機制訓(xùn)練生成器神經(jīng)網(wǎng)絡(luò)和鑒別器神經(jīng)網(wǎng)絡(luò)，該反饋機制將來自鑒別器神經(jīng)網(wǎng)絡(luò)的輸出指示與輸入的BoN是來自自然語言文本的實際部分還是是生成器神經(jīng)網(wǎng)絡(luò)的BoN輸出的指示進行比較。

技術(shù)領(lǐng)域

本申請總體上涉及一種改進的數(shù)據(jù)處理裝置和方法，并且更具體地涉及提供用于在執(zhí)行自然語言處理中使用的基于生成式對抗網(wǎng)絡(luò)的文本模型以及用于使用基于經(jīng)訓(xùn)練的生成式對抗網(wǎng)絡(luò)的文本模型來提供問答能力的機制。

背景技術(shù)

自然語言處理是計算機科學(xué)、人工智能、以及計算語言學(xué)的領(lǐng)域，其涉及計算機和人類(自然)語言之間的交互，并且特別地涉及對計算機進行編程以有效地處理大型自然語言語料庫。自然語言處理中的挑戰(zhàn)通常涉及自然語言理解、自然語言生成(通常來自形式、機器可讀的邏輯形式)、連接語言和機器感知、對話系統(tǒng)、或它們的一些組合。

通常用于自然語言處理的一種模型是詞袋(bag-of-words，BOW)模型或連續(xù)詞袋(continuous?bag-of-words，CBOW)模型。詞袋模型是用于自然語言處理和信息檢索(information?retrieval，IR)的簡化表示，其中諸如句子或文檔的文本被表示為其單詞袋(多重集)，而忽略語法甚至忽略單詞順序，但保持多樣性。詞袋模型通常用于文檔分類方法，其中每個單詞的出現(xiàn)頻率被用作用于訓(xùn)練分類器的特征。CBOW模型通過預(yù)測在給定上下文的情況下(例如，在上下文可以是單個單詞或單詞組的情況下)的單詞概率來工作，例如，給在定單個上下文單詞的情況下，CBOW預(yù)測單個目標單詞。

生成式模型(generative?model)學(xué)習(xí)輸入變量x(所觀測的數(shù)據(jù)值)和輸出變量y(所確定的值)的聯(lián)合概率分布p(x,y)。大多數(shù)無監(jiān)督的生成式模型(諸如玻爾茲曼機(Boltzmann?Machine)、深度信任網(wǎng)絡(luò)(Deep?Belief?Network)等)需要復(fù)雜的采樣器來訓(xùn)練生成式模型。然而，最近提出的生成式對抗網(wǎng)絡(luò)(Generative?Adversarial?Network，GAN)技術(shù)重新利用來自博弈論中的最小/最大范式，以無監(jiān)督的方式生成圖像。GAN框架包括生成器和鑒別器，其中生成器充當對手并試圖通過基于噪聲輸入產(chǎn)生合成圖像來欺騙鑒別器，并且鑒別器試圖將合成圖像與真實圖像區(qū)分開。

發(fā)明內(nèi)容

提供本發(fā)明內(nèi)容是為了以簡化的形式介紹本文中在具體實施方式中進一步描述的構(gòu)思選擇。本發(fā)明內(nèi)容不旨在標識所要求保護的主題的關(guān)鍵因素或基本特征，也不旨在用于限制所要求保護的主題的范圍。

在一個說明性實施例中，提供了一種方法，在包括至少一個處理器和至少一個存儲器的數(shù)據(jù)處理系統(tǒng)中，該至少一個存儲器包括由至少一個處理器執(zhí)行以配置處理器來實施用于自然語言處理的生成式對抗網(wǎng)絡(luò)(GAN)的指令。該方法包括：配置GAN的生成器神經(jīng)網(wǎng)絡(luò)，以基于噪聲向量輸入生成n元語法袋(bag-of-ngrams，BoN)輸出，以及配置GAN的鑒別器神經(jīng)網(wǎng)絡(luò)以接收BoN輸入，其中BoN輸入是來自生成器神經(jīng)網(wǎng)絡(luò)的BoN輸出，或者是與自然語言文本的實際部分相關(guān)聯(lián)的BoN輸入。該方法進一步包括配置GAN的鑒別器神經(jīng)網(wǎng)絡(luò)，以輸出關(guān)于輸入的BoN是來自自然語言文本的實際部分還是是生成器神經(jīng)網(wǎng)絡(luò)的BoN輸出的概率的指示。而且，該方法包括基于反饋機制訓(xùn)練生成器神經(jīng)網(wǎng)絡(luò)和鑒別器神經(jīng)網(wǎng)絡(luò)，該反饋機制將來自鑒別器神經(jīng)網(wǎng)絡(luò)的輸出指示與輸入的BoN是來自自然語言文本的實際部分還是是生成器神經(jīng)網(wǎng)絡(luò)的BoN輸出的指示進行比較。