[發(fā)明專利]一種訓(xùn)練藏字詩生成模型的方法、藏字詩生成方法及裝置

在審

• 申請?zhí)枺?/td>: 202010016847.4
• 申請日: 2020-01-08
• 公開（公告）號: CN111221958A
• 公開（公告）日: 2020-06-02
• 發(fā)明（設(shè)計）人: 崔志;肖克聰;寧洪珂
• 申請（專利權(quán)）人: 北京松果電子有限公司
• 主分類號: G06F16/34
• 分類號: G06F16/34;G06N3/04;G06N3/08
• 代理公司: 北京名華博信知識產(chǎn)權(quán)代理有限公司 11453
• 代理人: 白瑩

本文公開了一種訓(xùn)練藏字詩生成模型的方法、藏字詩生成方法及裝置，訓(xùn)練方法包括：使用樣本集合中的樣本藏字詩對藏頭詩生成模型進(jìn)行多輪如下訓(xùn)練直至藏字詩生成模型收斂：將樣本藏字詩首句中的字依次輸入神經(jīng)網(wǎng)絡(luò)，得到樣本藏字詩首句的輸出；并將樣本藏字詩中非首句中的字依次輸入神經(jīng)網(wǎng)絡(luò)，并基于神經(jīng)網(wǎng)絡(luò)的輸出和非首句中每個字與該字所在詩句之前詩句的關(guān)聯(lián)程度，得到藏字詩非首句的輸出；基于首句的輸出以及非首句的輸出分別與所述樣本藏字詩中對應(yīng)首句和非首句之間的差異對神經(jīng)網(wǎng)絡(luò)的參數(shù)進(jìn)行調(diào)整，以便在下輪訓(xùn)練中使用調(diào)整后的參數(shù)。本文引入了關(guān)聯(lián)方式，使非首句與非首句之前詩句產(chǎn)生關(guān)聯(lián)，提高整首詩的關(guān)聯(lián)性。

技術(shù)領(lǐng)域

本文涉及自然語言處理技術(shù)領(lǐng)域，尤其涉及一種訓(xùn)練藏字詩生成模型的方法、藏字詩生成方法及裝置。

背景技術(shù)

隨著2014年seq2seq模型在機器翻譯中的成功應(yīng)用，使文本生成技術(shù)獲得了很大的發(fā)展，詩詞自動生成便是其中的一種常見應(yīng)用。在詩詞自動生成應(yīng)用中，通過用戶指定固定數(shù)量的字，將這些字藏入到詩的句首或者句尾，自動生成詩詞，為用戶帶來了更多的有趣體驗。

在相關(guān)技術(shù)中，設(shè)置主題詞及藏頭字，根據(jù)主題詞及藏頭字，使用預(yù)先構(gòu)建的自動作詩模型生成詩。在首句生成的時候，利用主題詞和首句藏頭字生成首句；在進(jìn)行非首句生成的時候，利用主題詞、當(dāng)前非首句的藏頭字以及上一句的句向量生成當(dāng)前非首句。使用此方法在生成每個非首句的時候，一般利用此非首句的藏頭字、主題詞向量以及前一句的句向量共同作為初始向量輸入循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)解碼器，但由于RNN具有梯度消逝的現(xiàn)象，所以句向量信息在傳遞到后面時刻的時候就會減弱，甚至句尾無法學(xué)習(xí)到韻腳信息，導(dǎo)致句子與句子之間的關(guān)聯(lián)效果和對仗效果較差。

發(fā)明內(nèi)容

為克服相關(guān)技術(shù)中存在的問題，本文提供一種訓(xùn)練藏字詩生成模型的方法、藏字詩生成方法及裝置。

根據(jù)本文實施例的第一方面，提供了一種訓(xùn)練藏字詩生成模型的方法，包括：

確定用于生成藏字詩生成模型的機器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)；

使用樣本集合中的樣本藏字詩對藏頭詩生成模型進(jìn)行多輪如下訓(xùn)練直至所述藏字詩生成模型收斂：

將樣本藏字詩首句中的字依次輸入所述神經(jīng)網(wǎng)絡(luò)，得到所述樣本藏字詩首句的輸出；并

將所述樣本藏字詩中非首句中的字依次輸入所述神經(jīng)網(wǎng)絡(luò)，并基于所述神經(jīng)網(wǎng)絡(luò)的輸出和非首句中每個字與該字所在詩句之前詩句的關(guān)聯(lián)程度，得到所述藏字詩非首句的輸出；

基于首句的輸出以及非首句的輸出分別與所述樣本藏字詩中對應(yīng)首句和非首句之間的差異對所述神經(jīng)網(wǎng)絡(luò)的參數(shù)進(jìn)行調(diào)整，以便在下輪訓(xùn)練中使用調(diào)整后的參數(shù)。

在一種實施方式中，所述藏字詩所藏字在所在詩句的頭部或者尾部；

將樣本藏字詩首句中的字依次輸入所述神經(jīng)網(wǎng)絡(luò)，得到所述藏字詩首句的輸出，包括：

基于樣本藏字詩所藏字生成初始輸入變量；

將所述初始輸入變量和該樣本藏字詩首句所藏字對應(yīng)的字向量輸入神經(jīng)網(wǎng)絡(luò)，得到第一輸出；

將該所藏字的緊鄰字作為當(dāng)前字，將所述第一輸出作為當(dāng)前字上一個字的輸出，循環(huán)執(zhí)行如下第一輸入步驟：

將上一個字的輸出，與當(dāng)前字的字向量輸入所述神經(jīng)網(wǎng)絡(luò)，得到第二輸出；若當(dāng)前字不是該首句的最后一個字，則將與當(dāng)前字緊鄰的下一個字作為新的當(dāng)前字，將第二輸出作為新的當(dāng)前字上一個字的輸出，執(zhí)行所述第一輸入步驟；得到所述藏字詩首句的輸出。

在一種實施方式中，基于該樣本藏字詩所藏字生成初始輸入變量，包括：

生成該樣本藏字詩所藏字對應(yīng)的字向量，以及所藏字在該樣本藏字詩中位置對應(yīng)的位置向量；