[發(fā)明專利]文本生成方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請?zhí)枺?/td>: 201910064116.4
• 申請日: 2019-01-23
• 公開（公告）號: CN109918630B
• 公開（公告）日: 2023-08-04
• 發(fā)明（設(shè)計(jì)）人: 金戈;徐亮
• 申請（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號: G06F40/166
• 分類號: G06F40/166;G06F40/151;G06F40/289
• 代理公司: 深圳市精英專利事務(wù)所 44242
• 代理人: 林燕云

本申請實(shí)施例提供了一種文本生成方法、裝置、計(jì)算機(jī)設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，屬于文本生成技術(shù)領(lǐng)域。本申請實(shí)施例在實(shí)現(xiàn)文本生成時(shí)，通過獲取進(jìn)行文本生成的初始文本和預(yù)設(shè)預(yù)測詞匯，將初始文本和預(yù)設(shè)預(yù)測詞匯分別進(jìn)行詞嵌入以將初始文本轉(zhuǎn)化為第一詞向量和將預(yù)設(shè)預(yù)測詞匯轉(zhuǎn)化為第二詞向量，將第一詞向量和第二詞向量分別通過對應(yīng)的卷積神經(jīng)網(wǎng)絡(luò)獲得第一詞向量的第一注意力矩陣和第二詞向量的第二注意力矩陣，將第一注意力矩陣和第二注意力矩陣相乘以得到第三注意力矩陣，將第三注意力矩陣經(jīng)歸一化后與預(yù)設(shè)預(yù)測詞匯進(jìn)行匹配以生成預(yù)測文本，本申請實(shí)施例中由于卷積神經(jīng)網(wǎng)絡(luò)的并行計(jì)算特性，建立的文本生成模型具有較高的訓(xùn)練效率。

技術(shù)領(lǐng)域

本申請涉及文本生成技術(shù)領(lǐng)域，尤其涉及一種文本生成方法、裝置、計(jì)算機(jī)設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

文本生成是指在給定語言模型參數(shù)和文本片段的情況下，產(chǎn)生新的字符文本。傳統(tǒng)文本生成模型基于循環(huán)神經(jīng)網(wǎng)絡(luò)，其中，循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent?Neural?Network,RNN)是一類以序列(Sequence)數(shù)據(jù)為輸入，在序列的演進(jìn)方向進(jìn)行遞歸(Recursion)且所有節(jié)點(diǎn)(循環(huán)單元)按鏈?zhǔn)竭B接形成閉合回路的遞歸神經(jīng)網(wǎng)絡(luò)(Recursive?NeuralNetwork)，由于循環(huán)神經(jīng)網(wǎng)絡(luò)模型是以序列采取遞歸方式進(jìn)行文本生成，在文本生成模型訓(xùn)練時(shí)的訓(xùn)練效率較低。

發(fā)明內(nèi)容

本申請實(shí)施例提供了一種文本生成方法、裝置、計(jì)算機(jī)設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，能夠解決傳統(tǒng)技術(shù)中文本生成模型訓(xùn)練時(shí)訓(xùn)練效率比較低的問題。

第一方面，本申請實(shí)施例提供了一種文本生成方法，所述方法包括：獲取進(jìn)行文本生成的初始文本和預(yù)設(shè)預(yù)測詞匯；將所述初始文本和所述預(yù)設(shè)預(yù)測詞匯分別進(jìn)行詞嵌入以將所述初始文本轉(zhuǎn)化為第一詞向量和將所述預(yù)設(shè)預(yù)測詞匯轉(zhuǎn)化為第二詞向量；將所述第一詞向量和所述第二詞向量分別通過對應(yīng)的卷積神經(jīng)網(wǎng)絡(luò)獲得所述第一詞向量的第一注意力矩陣和所述第二詞向量的第二注意力矩陣；將所述第一注意力矩陣和所述第二注意力矩陣相乘以得到第三注意力矩陣；將所述第三注意力矩陣經(jīng)歸一化后與預(yù)設(shè)預(yù)測詞匯進(jìn)行匹配以生成預(yù)測文本。

第二方面，本申請實(shí)施例還提供了一種文本生成裝置，包括：獲取單元，用于獲取進(jìn)行文本生成的初始文本和預(yù)設(shè)預(yù)測詞匯；轉(zhuǎn)化單元，用于將所述初始文本和所述預(yù)設(shè)預(yù)測詞匯分別進(jìn)行詞嵌入以將所述初始文本轉(zhuǎn)化為第一詞向量和將所述預(yù)設(shè)預(yù)測詞匯轉(zhuǎn)化為第二詞向量；卷積單元，用于將所述第一詞向量和所述第二詞向量分別通過對應(yīng)的卷積神經(jīng)網(wǎng)絡(luò)獲得所述第一詞向量的第一注意力矩陣和所述第二詞向量的第二注意力矩陣；得到單元，用于將所述第一注意力矩陣和所述第二注意力矩陣相乘以得到第三注意力矩陣；匹配單元，用于將所述第三注意力矩陣經(jīng)歸一化后與預(yù)設(shè)預(yù)測詞匯進(jìn)行匹配以生成預(yù)測文本。

第三方面，本申請實(shí)施例還提供了一種計(jì)算機(jī)設(shè)備，其包括存儲(chǔ)器及處理器，所述存儲(chǔ)器上存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)所述文本生成方法。

第四方面，本申請實(shí)施例還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)使所述處理器執(zhí)行所述文本生成方法。

本申請實(shí)施例提供了一種文本生成方法、裝置、計(jì)算機(jī)設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。本申請實(shí)施例屬于文本生成技術(shù)領(lǐng)域，本申請實(shí)施例在實(shí)現(xiàn)文本生成時(shí)，通過獲取進(jìn)行文本生成的初始文本和預(yù)設(shè)預(yù)測詞匯，將所述初始文本和所述預(yù)設(shè)預(yù)測詞匯分別進(jìn)行詞嵌入以將所述初始文本轉(zhuǎn)化為第一詞向量和將所述預(yù)設(shè)預(yù)測詞匯轉(zhuǎn)化為第二詞向量，將所述第一詞向量和所述第二詞向量分別通過對應(yīng)的卷積神經(jīng)網(wǎng)絡(luò)獲得所述第一詞向量的第一注意力矩陣和所述第二詞向量的第二注意力矩陣，將所述第一注意力矩陣和所述第二注意力矩陣相乘以得到第三注意力矩陣，將所述第三注意力矩陣經(jīng)歸一化后與預(yù)設(shè)預(yù)測詞匯進(jìn)行匹配以生成預(yù)測文本，從而根據(jù)輸入文本，通過卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行信息提煉，在預(yù)設(shè)預(yù)測詞匯范圍內(nèi)生成具有較強(qiáng)關(guān)聯(lián)屬性的預(yù)測文本，相比于傳統(tǒng)技術(shù)中的循環(huán)神經(jīng)網(wǎng)絡(luò)，本申請實(shí)施例中由于采取多尺度的卷積神經(jīng)網(wǎng)絡(luò)的并行計(jì)算特性，建立的文本生成模型具有較高的訓(xùn)練效率。