[發明專利]自動作詩語言模型訓練方法、裝置、自動作詩方法及裝置

在審

• 申請號: 202210003512.8
• 申請日: 2022-01-05
• 公開（公告）號: CN114021545A
• 公開（公告）日: 2022-02-08
• 發明（設計）人: 鄒旭;楊植麟;殷達;丁銘;唐杰
• 申請（專利權）人: 北京智源悟道科技有限公司
• 主分類號: G06F40/205
• 分類號: G06F40/205;G06K9/62;G06F16/33
• 代理公司: 北京國科程知識產權代理事務所(普通合伙) 11862
• 代理人: 曹曉斐

本申請公開了一種自動作詩語言模型訓練方法、裝置、自動作詩方法及裝置，屬于自然語言處理技術領域。該方法主要包括：將預設初始文本輸入預設的語言模型中，獲得預設初始文本對應的至少一個完整詩句文本；計算每一完整詩句文本分別與預設初始文本之間的混淆率，進而獲得每一完整詩句文本分別對應的分數，并對分數進行排序；根據排序結果，從完整詩句文本中獲取目標完整詩句文本；根據目標完整詩句文本，對語言模型進行調整，獲得目標語言模型。本申請在預設的語言模型根據預設初始文本在生成詩句后，進行反向詢問與線狀搜索，篩選與預預設初始文本相關程度高的詩句，以增加生成詩句與預設初始文本的相關程度，以提升語言模型的生成詩句的質量。

技術領域

本申請涉及自然語言處理技術領域，特別涉及一種自動作詩語言模型訓練方法、裝置、自動作詩方法及裝置。

背景技術

使用人工智能創作傳統古詩的嘗試在人工智能的不同階段由來已久，但這些嘗試大多局限于古詩的領域。近年來，隨著深度學習的發展，一些研究人員也開始使用深度學習的方法，以特殊的詩歌模型和數據訓練專門創作詩歌的權重并加以應用，開發了類似“九歌”、“詩三百”等作詩應用。但這些應用由于數據的限制，只能學習到古詩中常見的意象，而很難觸類旁通，舉一反三，對傳統詩歌中沒有出現過或者出現很少的意象，如北京、紐約等，因此不能取得比較好的結果。

近年來，大規模預訓練語言模型以其規模和性能逐漸成為了自然語言處理領域中的新亮點。使用互聯網上收集的大規模自然語言數據，通過根據上文預測下一個詞的方式進行訓練得到的語言模型，雖然在直接完成判斷式任務上有所欠缺，但能在沒有標注的情況下，學習到海量文本內蘊含的信息，從而在生成式任務中取得令人驚訝的好結果。

雖然預訓練模型對于普通的文本生成能夠取得極佳的生成效果，但以往的生成方法，依然局限于生成與訓練數據類似的普通文本，對于跨領域的生成則質量很差且優化工作寥寥。直接從語言模型里生成，無論使用何種詢問格式，都大概率無法生成合適的詩詞，即使勉強生成了格式符合要求的詩句，也離題萬里，質量低下。

發明內容

針對現有技術存在的無法生成合適的詩詞，或即使生成格式符合要求的詩句，但質量低下問題，本申請主要提供一種自動作詩語言模型訓練方法、裝置、自動作詩方法及裝置。

為了實現上述目的，本申請采用的一個技術方案是：提供一種自動作詩語言模型訓練方法，其包括：將預設初始文本輸入預設的語言模型中，獲得預設初始文本對應的至少一個完整詩句文本，其中，預設初始文本包括標題、體裁；計算每一完整詩句文本分別與預設初始文本之間的混淆率，進而獲得每一完整詩句文本分別對應的分數，并對分數進行排序；根據排序結果，從完整詩句文本中獲取目標完整詩句文本；根據目標完整詩句文本，對語言模型進行調整，獲得目標語言模型。

本申請采用的另一個技術方案是：提供一種自動作詩語言模型訓練裝置，其包括：用于將預設初始文本輸入預設的語言模型中，獲得預設初始文本對應的至少一個完整詩句文本的模塊，其中，預設初始文本包括標題、體裁；用于計算每一完整詩句文本分別與預設初始文本之間的混淆率，進而獲得每一完整詩句文本分別對應的分數，并對分數進行排序的模塊；用于根據排序結果，從完整詩句文本中獲取目標完整詩句文本的模塊；用于根據目標完整詩句文本，對語言模型進行調整，獲得目標語言模型的模塊。

本申請采用的另一個技術方案是：提供一種自動作詩方法，其特征在于，包括：將預設初始文本輸入預設的目標語言模型中，獲得預設初始文本對應的至少一個完整詩句文本，其中，預設初始文本包括標題、體裁；計算每一完整詩句文本分別與預設初始文本之間的混淆率，進而獲得每一完整詩句文本分別對應的分數，并對混淆率進行排序；根據排序結果，從完整詩句文本中獲取目標完整詩句文本。