[發明專利]動態寬度最大化解碼方法、文本生成方法及存儲介質

有效

• 申請號: 202210547659.3
• 申請日: 2022-05-18
• 公開（公告）號: CN114925659B
• 公開（公告）日: 2023-04-28
• 發明（設計）人: 陳崢;陶銳文
• 申請（專利權）人: 電子科技大學
• 主分類號: G06F40/126
• 分類號: G06F40/126;G06F40/216;G06F40/289;G06F16/335;G06N3/045;G06N3/047;G06N3/08
• 代理公司: 蘇州德萃知識產權代理有限公司 32629
• 代理人: 官玉梅

本發明公開了一種動態寬度最大化解碼方法、文本生成方法及存儲介質。為了克服現有技術中波束搜索不能滿足需求，搜索結果性能下降或生成效率低的技術問題，本發明通過輸出的概率分布動態地調整波束搜索的搜索寬度等技術手段，降低了搜索錯誤，在較高的搜索寬度參數設置下實現更高的質量的文本生成，相同的搜索寬度生成的文本與目標文本有更高的重合度，該方法還實現了降低了搜索寬度對文本質量的影響，減少了模型解碼的時間的技術效果。本發明適用于自然語言處理領域。

技術領域

本發明屬于自然語言處理領域，具體涉及一種動態寬度最大化解碼方法、文本生成方法及存儲介質。

背景技術

定向文本生成，在實際生成中有著廣泛的應用，如機器翻譯，文本對話，文本復述、文本摘要、表格-文本生成等。基于語言模型處理模塊和解碼方法的定向文本生成框架在現階段有著最好的結果。在定向文本生成任務中，解碼的目標是生成根據輸入序列生成最可能的輸出序列。找到最佳序列的最基本的方法是對所有步長輸出的整個搜索空間進行精確搜索。

然而，由于神經網絡語言模型處理模塊詞表中的詞匯量很大，大詞匯量在生成長文本的情況下實現完全搜索幾乎是不可能的。使用語言模型處理模塊進行完全搜索是一個NP完全問題，無法完全窮盡地進行輸出。搜索全局的文本序列形式的最簡單的方法是每個時間步的字符都選擇最有可能的詞，即最大化搜索。這種最大化解碼方法以完全本地化的方式得到概率序列會產生嚴重的重復文本；而代替最大化解碼方法，并實現次優的精確搜索的方法是波束搜索解碼。通常使用波束搜索解碼方法來完成語言模型處理模塊輸出的概率空間的目標搜索工作，即在規定搜索時間內找到概率序列空間中相對于輸入的次優輸出。

定向生成任務中由于輸入輸出具有明顯的聯系，這些任務使用最大化搜索或者波束搜索(Beam-Search)來實現文本生成時的解碼工作。作為一種啟發式的探索方法，在降低計算時間復雜度的情況下，Beam-Search盡可能的搜尋全局最優解——給定輸入文本情況下，聯合概率最高的輸出序列。由于生成目標是全局最優，因此，擁有盡可能大的搜索寬度來似乎可以進一步提高生成文本的質量。但是實驗表明，過度的提高搜索寬度不僅會大量增加搜索時間，而且生成的文本中擁有大量空白。

現有技術中的波束搜索方法在實際應用中，主要為以下幾種：

1)搜索寬度不變，并在預定義時間步長內停止搜索；

2)寬度縮減的搜索方式，即在找到完整假設時搜索寬度減少，并在寬度達到0時終止搜索；

3)對搜索長度進行懲罰，將每個搜索序列的得分除以序列序列作為最終評判標準；

4)引入多樣性分組方法以鼓勵生成文本的多樣性。

這些方法都是為了避免波束搜索方法中的問題，這些問題集中體現在：波束搜索在具有合適時間的搜索寬度中找到目標輸出不能滿足需求，并在提高搜索寬度后搜索結果的性能出現了下降，高搜索寬度方式下成大規模數據集時解碼時間非常長，十分影響生成效率。大的波束搜索寬度在語言模型處理模塊下游的定向文本生成任務會破壞文本生成的質量從而生成大量的重復可空白，而過小的波束搜索寬度會造成生成文本多樣性的缺失。這種矛盾造成了搜索寬度參數選擇的困難以及文本生成質量的下降。

鑒于現有技術中上述的缺陷，本領域亟需一種技術方案以克服或緩解以上技術問題。

發明內容

為了解決或緩解上述部分或全部技術問題，本發明是通過如下技術方案實現的：

一種動態寬度最大化解碼方法，應用于文本生成過程中，該方法包括如下步驟：根據語言模型處理模塊生成的概率分布集合，選擇候選集；計算選擇得到字符對應的生成該字符候選序列的概率序列得分；選擇得分最大的K個候選序列作為輸出文本，其中K為搜索寬度。