[發明專利]一種基于云數據中心分布式詩歌生成方法

有效

• 申請號: 202110241954.1
• 申請日: 2021-03-04
• 公開（公告）號: CN112989812B
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 沈鴻;馬亮亮
• 申請（專利權）人: 中山大學
• 主分類號: G06F40/279
• 分類號: G06F40/279;G06N20/00
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 劉俊

本發明提供一種基于云數據中心分布式詩歌生成方法，該方法首先生成模型訓練；然后引入評價模型，利用評價模型來對生成模型進行優化；最后利用步驟優化后的生成模型進行詩歌生成。本發明使用評價模型對藝術作品中詞向量的發展進行學習，可以間接達到模擬內涵的效果，再應用到詩歌生成中，就可以生成創新且富有內涵的詩歌；而之前的強化學習方法，利用的大量的專家知識和人工限定，導致了詩歌生成依賴人的水平，很難以實現完全自動化；本發明的全部設計理念不包含詩歌知識，實現了自動化；而且本文對比之前的方法，兩個階段均采用了基于云數據中心的并行架構，可以加速神經網絡收斂，提高模型訓練效率。

技術領域

本發明涉及人工智能和并行分布式領域，更具體地，涉及一種基于云數據中心分布式詩歌生成方法。

背景技術

近年來，深度學習在詩歌生成這項任務中被證明是有效的。主流方法是基于遞歸神經網絡的模型，將真人歷史上寫過的詩歌的全部內容作為訓練語料發送到語言模型中。經過訓練后，該模型可以將一些初始內容作為輸入，根據輸出的概率分布對下一個詞或者下一個句子進行采樣，并重復這個過程，直到生成一首完整的詩歌。在此基礎上進行的創新有利用神經注意力模型、序列到序列框架以及利用長短期記憶模型等方法。

然而，這些基于記憶神經網絡的方法在算法上各有不同，但大多是從訓練數據上對詩歌進行不同程度的表面模仿。這些方法的實施就像是對過去人類作品的回憶，而不是書寫新的作品。換言之，這些方法產生的詩歌之間的隨機組合詞和現有的詩歌。隨著訓練的繼續，它變得越來越像訓練用的詩歌。如果不適當地停止，算法將生成人們真正創作的同一首詩。但我們的目標是生成有內涵的、不同于現有詩歌的詩歌。

除此之外，對于詩歌的生成，利用強化學習算法的前人現有研究只有一個。它同時訓練兩個生成器，它們通過一個訓練好的獎勵器學習，并相互學習。該算法的評價標準包括四個方面：流利性、連貫性、有意義性和整體質量。該方法雖然效果較好，但過于依賴詩歌知識，而且依賴于設定的學習標準，不能實現自動化，難以進行推廣。目前還沒有像本方法所提出的使用基于云數據中心分布式強化學習算法解決詩歌生成任務的工作方案。

發明內容

本發明提供一種基于云數據中心分布式詩歌生成方法，該方法可實現生成既與現有詩歌不同又富含合理內涵的詩歌。

為了達到上述技術效果，本發明的技術方案如下：

一種基于云數據中心分布式詩歌生成方法，包括以下步驟：

S1：生成模型訓練；

S2：引入評價模型，利用評價模型來對步驟S1中的生成模型進行優化；

S3：利用步驟S2中優化后的生成模型進行詩歌生成。

進一步地，所述步驟S1的具體過程是：

1)、預先訓練好的一個詞嵌入模型，將訓練集中每首詩的每個字映射到一個浮點向量，對該詞嵌入模型訓練時，維護一個以訓練數據中的一首詩的標題初始化的集合，作為模型的輸入，模型先以此將標題的每個字映射為向量然后輸入長短期記憶神經網絡中，最后輸出是一個向量，它表示生成的詩歌的第一個單詞，這個向量和本輪訓練用的詩中第一個字映射的詞向量進行比較，用來計算訓練損失；

2)、訓練用的詩的第一個字被添加到詞嵌入模型模型維護的輸入集合中，以生成下一個單詞；訓練過程一直在進行，直到一整首訓練用的詩被添加到輸入集中，然后繼續訓練下一首詩，直至達到使用者滿意的收斂程度，即訓練誤差降低到一定范圍以下。

進一步地，所述步驟S2中，評價模型的建立過程是：