[發(fā)明專利]一種同義文本生成的方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201911337552.0
• 申請(qǐng)日: 2019-12-23
• 公開（公告）號(hào): CN111126047A
• 公開（公告）日: 2020-05-08
• 發(fā)明（設(shè)計(jì)）人: 佘蕭寒;邱雪濤;萬(wàn)四爽;王宇
• 申請(qǐng)（專利權(quán)）人: 中國(guó)銀聯(lián)股份有限公司
• 主分類號(hào): G06F40/247
• 分類號(hào): G06F40/247;G06F40/126
• 代理公司: 北京同達(dá)信恒知識(shí)產(chǎn)權(quán)代理有限公司 11291
• 代理人: 鄒雅瑩

本發(fā)明公開了一種同義文本生成的方法及裝置，其中，方法包括：將第一類型的第一文本輸入至第一子模型，得到與第一文本同義的第二類型的第二文本；將第二文本輸入至第二子模型，得到與第二文本同義的第一類型的第三文本；根據(jù)第三文本和第一文本的差異，更新由第一子模型和第二子模型組成的文本生成模型；文本生成模型用于根據(jù)輸入文本生成與輸入文本同義的輸出文本。上述技術(shù)方案解決現(xiàn)有技術(shù)中有監(jiān)督模型訓(xùn)練中需要對(duì)大量文本進(jìn)行關(guān)聯(lián)和標(biāo)注，浪費(fèi)大量人力的問(wèn)題。

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及機(jī)器學(xué)習(xí)領(lǐng)域，尤其涉及一種同義文本生成的方法及裝置。

背景技術(shù)

同義文本生成，即同義復(fù)寫，是機(jī)器翻譯領(lǐng)域下的子任務(wù)之一，同義文本生成廣泛應(yīng)用于自然語(yǔ)言處理的語(yǔ)義分析與理解等場(chǎng)景。同義文本生成一般針對(duì)于同一種語(yǔ)言，在不改變?cè)渲黧w語(yǔ)義的情況下完成語(yǔ)句的改寫，諸如自動(dòng)文摘、拼寫糾錯(cuò)等任務(wù)均可歸類于同義文本生成的范疇下。

現(xiàn)有技術(shù)有關(guān)同義文本生成的方法主要集中于有監(jiān)督學(xué)習(xí)方法，有監(jiān)督學(xué)習(xí)方法需要大規(guī)模有標(biāo)注的語(yǔ)料支持，比如，在將全稱文本—簡(jiǎn)稱文本相互轉(zhuǎn)換的模型訓(xùn)練中，需要將具有相同意思的全稱文本和簡(jiǎn)稱文本進(jìn)行關(guān)聯(lián)，且將每個(gè)文本標(biāo)識(shí)出其屬于全稱類別還是簡(jiǎn)稱類別，進(jìn)而將有關(guān)聯(lián)關(guān)系且進(jìn)行標(biāo)注的文本作為訓(xùn)練樣本進(jìn)行有監(jiān)督模型訓(xùn)練。該方式中，需要人工對(duì)大量文本進(jìn)行關(guān)聯(lián)和標(biāo)注，浪費(fèi)大量人力。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種同義文本生成的方法及裝置，用以解決現(xiàn)有技術(shù)中有監(jiān)督模型訓(xùn)練中需要對(duì)大量文本進(jìn)行關(guān)聯(lián)和標(biāo)注，浪費(fèi)大量人力的問(wèn)題。

本發(fā)明實(shí)施例提供的一種同義文本生成的方法，包括：

將第一類型的第一文本輸入至第一子模型，得到與所述第一文本同義的第二類型的第二文本；

將所述第二文本輸入至第二子模型，得到與所述第二文本同義的所述第一類型的第三文本；

根據(jù)所述第三文本和所述第一文本的差異，更新由所述第一子模型和所述第二子模型組成的文本生成模型；所述文本生成模型用于根據(jù)輸入文本生成與所述輸入文本同義的輸出文本。

上述技術(shù)方案中，文本生成模型包括第一子模型和第二子模型，第一子模型用于將第一類型的文本轉(zhuǎn)換成第二類型的文本，第二子模型用于將第二類型的文本轉(zhuǎn)換成第一類型的文本，進(jìn)而根據(jù)第一子模型的輸入和第二子模型的輸出對(duì)文本生成模型進(jìn)行更新，通過(guò)將二者串聯(lián)實(shí)現(xiàn)文本生成模型的無(wú)監(jiān)督訓(xùn)練，從而在進(jìn)行文本生成模型的訓(xùn)練過(guò)程中無(wú)需人工對(duì)大量文本進(jìn)行關(guān)聯(lián)和標(biāo)注，降低人力成本。

可選的，將第一類型的第一文本輸入至第一子模型之前，還包括：

隱藏第二類型的文本中的第一預(yù)設(shè)比例的文本，并根據(jù)所述第二類型的文本和隱藏所述第一預(yù)設(shè)比例的文本后的第二類型的文本，對(duì)所述第一子模型訓(xùn)練；

隱藏第一類型的文本中的第二預(yù)設(shè)比例的文本，并根據(jù)所述第一類型的文本和隱藏所述第二預(yù)設(shè)比例的文本后的第一類型的文本，對(duì)所述第二子模型訓(xùn)練。

上述技術(shù)方案中，先訓(xùn)練出文本生成模型的語(yǔ)言模型，該語(yǔ)言模型相當(dāng)于是找到了文本的語(yǔ)言特征，在找到文本語(yǔ)言特征的基礎(chǔ)上再進(jìn)行迭代優(yōu)化，以生成最終的文本生成模型，可以快速實(shí)現(xiàn)文本生成模型的收斂，且文本生成模型訓(xùn)練效果好。

可選的，所述第一子模型基于編碼算法對(duì)所述第一文本編碼處理，以及基于第一解碼算法對(duì)所述編碼處理后的第一文本解碼處理，以得到所述第二文本；

所述第二子模型基于所述編碼算法對(duì)所述第二文本編碼處理，以及基于第二解碼算法對(duì)所述編碼處理后的第二文本解碼處理，以得到所述第三文本。