[發明專利]一種基于神經網絡詞匯擴展段落的文本生成方法及系統

在審

• 申請號: 202111044245.0
• 申請日: 2021-09-07
• 公開（公告）號: CN113743087A
• 公開（公告）日: 2021-12-03
• 發明（設計）人: 陳海林;張蓬;趙緒龍
• 申請（專利權）人: 珍島信息技術（上海）股份有限公司
• 主分類號: G06F40/211
• 分類號: G06F40/211;G06F16/332;G06F40/216;G06F40/289;G06K9/62
• 代理公司: 合肥正則元起專利代理事務所(普通合伙) 34160
• 代理人: 劉汪丹

本發明公開了一種基于神經網絡詞匯擴展段落的文本生成方法及系統，屬于文本處理技術領域，包括數據采集模塊、文章數據庫、儲存模塊、建模模塊、輸入模塊、文本生成模塊和服務器；所述數據采集模塊用于采集文章數據，并將采集到的文章數據發送到文章數據庫進行保存，文章數據庫對保存的文章數據進行分段，并對分段數據進行數據預處理，提取分段數據中的核心詞，將分段數據和對應的核心詞整合標記為訓練集數據，將訓練集數據發送到儲存模塊進行儲存；通過建模模塊建立預測模型，并將預測模型發送至文本生成模塊；通過按段落生成的方式，更好的控制文章生成的字數要求，使用戶使用文本生成的體驗感更好。

技術領域

本發明屬于文本處理技術領域，具體是一種基于神經網絡詞匯擴展段落的文本生成方法及系統。

背景技術

文本生成是自然語言處理中非常重要的研究方向，應用場景非常廣泛，主要是應用到格式化數據文本的生成，或者生成資訊類的內容，解釋類文本的生成等。目前非格式化的文本生成任務的常見的方向大致有：摘要生成、文本復述等。文本復述生成，需要大量的素材做支撐，才能形成復述生成的效果，且訓練復述模型所需的平行語料需要足夠充足且規整；而在現實中卻很難獲得大規模的此類平行語料。詩歌生成及小說生成，不細究生成效果，可有一定的研究價值，但大多數情況為研究者實施，實驗性意義更大，而不是為應用層面考慮。

采用神經網絡詞匯擴展段落的文本生成，可在一定范圍內的語料中進行訓練，即可得出較為良好的擴充生成文章的效果。在已經積累的用戶特征數據、用戶偏好數據、文章素材數據，以及通過關系抽取、實體識別所增加的標簽特征數據的基礎上，進行深度學習網絡訓練的語句/文章生成方式，可大大擴充生成文章的多樣性、原創性。

發明內容

為了解決上述方案存在的問題，本發明提供了一種基于神經網絡詞匯擴展段落的文本生成方法及系統。

本發明的目的可以通過以下技術方案實現：

一種基于神經網絡詞匯擴展段落的文本生成系統，包括數據采集模塊、文章數據庫、儲存模塊、建模模塊、輸入模塊、文本生成模塊和服務器；

所述數據采集模塊用于采集文章數據，并將采集到的文章數據發送到文章數據庫進行保存，文章數據庫對保存的文章數據進行分段，并對分段數據進行數據預處理，提取分段數據中的核心詞，將分段數據和對應的核心詞整合標記為訓練集數據，將訓練集數據發送到儲存模塊進行儲存；通過建模模塊建立預測模型，并將預測模型發送至文本生成模塊；

用戶通過輸入模塊輸入預測參數，輸入模塊根據輸入的預測參數獲得預測輸入數據，將預測輸入數據發送到文本生成模塊，文本生成模塊根據獲取的數據生成文本，并將文本發送給用戶。

進一步地，文章數據庫在保存文章數據前，對接收的文章數據進行校核，當接收的文章數據為重復文章數據時，保存發文日最近的文章數據，刪除另一個文章數據。

進一步地，當文章數據中沒有發文日時，以最新獲取的文章數據的時間為發文日，并將發文日進行標記。

進一步地，建模模塊建立預測模型的方法包括：

編寫seq2seq模型，seq2seq模型采取encode端和decode端各用xlnet模型結構，從儲存模塊中獲取訓練集數據，使用訓練集數據對seq2seq模型進行訓練，將訓練后的seq2seq模型標記為預測模型。

進一步地，輸入模塊的工作方法包括：

設置檢索單元和關鍵詞庫，選擇所屬行業領域，根據所屬行業領域向用戶推薦關鍵詞，用戶從推薦的關鍵詞中進行選擇，當推薦的關鍵詞中沒有用戶需要的關鍵詞時，通過檢索單元進行檢索，獲得關鍵詞；設置生成文章篇數和每個段落字數范圍；