[發(fā)明專(zhuān)利]一種缺失文本生成方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010800708.0
• 申請(qǐng)日: 2020-08-11
• 公開(kāi)（公告）號(hào): CN112069809B
• 公開(kāi)（公告）日: 2022-05-24
• 發(fā)明（設(shè)計(jì)）人: 蔡曉東;鄭淑婷
• 申請(qǐng)（專(zhuān)利權(quán)）人: 桂林電子科技大學(xué)
• 主分類(lèi)號(hào): G06F40/284
• 分類(lèi)號(hào): G06F40/284;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 北京輕創(chuàng)知識(shí)產(chǎn)權(quán)代理有限公司 11212
• 代理人: 尉保芳

本發(fā)明提供一種缺失文本生成方法及系統(tǒng)，方法包括：對(duì)輸入樣本的預(yù)處理得到缺失樣本；通過(guò)embedding詞嵌入算法分別對(duì)輸入樣本和缺失樣本的詞向量化處理得到輸入樣本句向量和缺失樣本句向量；分別對(duì)輸入樣本和缺失樣本的位置編碼處理得到輸入樣本位置向量和缺失樣本位置向量；根據(jù)輸入樣本句向量對(duì)缺失樣本句向量、輸入樣本位置向量和缺失樣本位置向量的增強(qiáng)句向量處理得到輸入樣本向量和缺失樣本向量；對(duì)輸入樣本向量和缺失樣本向量的模型訓(xùn)練得到完整文本。本發(fā)明網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，能夠捕獲文本的長(zhǎng)距離依賴(lài)關(guān)系,并可以并行計(jì)算，解決了時(shí)效性的問(wèn)題，相對(duì)現(xiàn)有技術(shù)，能夠在提升模型的訓(xùn)練和推理速率的同時(shí)顯著提升缺失文本生成的質(zhì)量。

技術(shù)領(lǐng)域

本發(fā)明主要涉及語(yǔ)言處理技術(shù)領(lǐng)域，具體涉及一種缺失文本生成方法及系統(tǒng)。

背景技術(shù)

缺失文本生成旨在填充缺失的文本片段，適用于許多現(xiàn)實(shí)的自然語(yǔ)言生成場(chǎng)景，以往對(duì)缺失文本生成任務(wù)的研究一般限制在特定環(huán)境中，目前的缺失文本生成模型主要基于循環(huán)神經(jīng)網(wǎng)絡(luò)，它的序列特性很適合學(xué)習(xí)長(zhǎng)距離文本上下文信息，但也排除了實(shí)例內(nèi)的并行化，使訓(xùn)練和推理都很慢，對(duì)實(shí)時(shí)應(yīng)用的部署帶來(lái)很大挑戰(zhàn)。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問(wèn)題是針對(duì)現(xiàn)有技術(shù)的不足，提供一種缺失文本生成方法及系統(tǒng)。

本發(fā)明解決上述技術(shù)問(wèn)題的技術(shù)方案如下：一種缺失文本生成方法，包括如下步驟：

對(duì)輸入樣本進(jìn)行預(yù)處理，得到缺失樣本；

通過(guò)embedding詞嵌入算法分別對(duì)所述輸入樣本和所述缺失樣本進(jìn)行詞向量化處理，得到輸入樣本句向量和缺失樣本句向量；

分別對(duì)所述輸入樣本和所述缺失樣本進(jìn)行位置編碼處理，得到輸入樣本位置向量和缺失樣本位置向量；

根據(jù)所述輸入樣本句向量對(duì)所述缺失樣本句向量、所述輸入樣本位置向量和所述缺失樣本位置向量進(jìn)行增強(qiáng)句向量處理，得到輸入樣本向量和缺失樣本向量；

對(duì)所述輸入樣本向量和所述缺失樣本向量進(jìn)行模型訓(xùn)練，得到完整文本。

本發(fā)明解決上述技術(shù)問(wèn)題的另一技術(shù)方案如下：一種文本填充系統(tǒng)，包括：

輸入樣本處理模塊，用于對(duì)輸入樣本進(jìn)行預(yù)處理，得到缺失樣本；

詞向量化處理處理模塊，用于通過(guò)embedding詞嵌入算法分別對(duì)所述輸入樣本和所述缺失樣本進(jìn)行詞向量化處理，得到輸入樣本句向量和缺失樣本句向量；

位置編碼處理模塊，用于分別對(duì)所述輸入樣本和所述缺失樣本進(jìn)行位置編碼處理，得到輸入樣本位置向量和缺失樣本位置向量；

向量處理模塊，用于根據(jù)所述輸入樣本句向量對(duì)所述缺失樣本句向量、所述輸入樣本位置向量和所述缺失樣本位置向量進(jìn)行增強(qiáng)句向量處理，得到輸入樣本向量和缺失樣本向量；

完整文本生成模塊，用于對(duì)所述輸入樣本向量和所述缺失樣本向量進(jìn)行模型訓(xùn)練，得到完整文本。

本發(fā)明的有益效果是：通過(guò)對(duì)輸入樣本的預(yù)處理得到缺失樣本，并通過(guò)embedding詞嵌入算法分別對(duì)輸入樣本和缺失樣本的詞向量化處理得到輸入樣本句向量和缺失樣本句向量，能夠轉(zhuǎn)化為網(wǎng)絡(luò)能夠識(shí)別的數(shù)據(jù)信息句向量，分別對(duì)輸入樣本和缺失樣本的位置編碼處理得到輸入樣本位置向量和缺失樣本位置向量，準(zhǔn)確地定位了缺失空白的位置，根據(jù)輸入樣本句向量對(duì)缺失樣本句向量、輸入樣本位置向量和缺失樣本位置向量的增強(qiáng)句向量處理得到輸入樣本向量和缺失樣本向量，對(duì)輸入樣本向量和缺失樣本向量的模型訓(xùn)練得到完整文本，相對(duì)現(xiàn)有技術(shù)，能夠在提升模型的訓(xùn)練和推理速率的同時(shí)顯著提升缺失文本生成的質(zhì)量，且網(wǎng)絡(luò)結(jié)構(gòu)簡(jiǎn)單，能夠捕獲文本的長(zhǎng)距離依賴(lài)關(guān)系,并可以并行計(jì)算，解決了時(shí)效性的問(wèn)題。

附圖說(shuō)明

圖1為本發(fā)明一實(shí)施例提供的缺失文本生成方法的流程示意圖；