[發明專利]一種條件文本生成方法及生成系統

有效

• 申請號: 202111474679.4
• 申請日: 2021-12-06
• 公開（公告）號: CN114118024B
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 岳希;羅偉爾;高燕;唐聃;何磊
• 申請（專利權）人: 成都信息工程大學
• 主分類號: G06F40/151
• 分類號: G06F40/151;G06F40/166;G06N3/04;G06N3/08
• 代理公司: 成都云縱知識產權代理事務所(普通合伙) 51316
• 代理人: 伍星;劉沙粒

1.一種條件文本生成方法，其特征在于，包括：

S1、采集文本數據；數據預處理，將文本數據轉化為適合訓練的數據集；

S2、構建編碼器、解碼器；

S3、將條件信息和文本數據分別通過編碼器編碼，得到條件特征、文本特征；將條件特征和文本特征進行特征融合，得到融合后的特征，記為融合特征；

S4、將所述融合特征作為解碼器的輸入，得到解碼器的輸出結果；

S5、計算損失；

S6、基于解碼器的輸出結果和損失，對網絡模型進行訓練，直到滿足訓練條件或達到最大訓練次數，輸出訓練后的網絡模型；

S7、向訓練后的網絡模型中輸入條件信息和提示文本，生成文本；

步驟S2中，利用采集的文本數據訓練GPT-2模型，將訓練好的模型記為模型M，以模型M作為編碼器和解碼器；

步驟S3包括：

S301、將條件信息輸入模型M，得到條件特征f_c；

S302、將包含所述條件信息的文本數據輸入模型M，得到文本特征f_p；

S303、將f_c和f_p進行特征融合，得到融合特征f_cp；

步驟S303包括：

S3031、確定條件信息的個數n，各條件信息的條件特征依次記為f_c1、f_c2…f_cn；其中n取正整數；

S3032、將各條件特征的鍵向量key_c1、鍵向量key_c2…鍵向量key_cn和值向量value_c1、值向量value_c2…值向量value_cn分別依次連接到文本特征f_p的鍵向量key和值向量value之前，并保持文本特征f_p的查詢向量query不變，得到連接后的鍵向量key_last和值向量value_last：

key_last＝[key_c1；key_c2…key_cn；key]；

value_last＝[value_c1；value_c2…value_cn；value]；

S3033、通過如下公式計算輸出值score：

式中，q代表查詢向量query，k^T代表key_last的轉置，v代表value_last，d_k代表key_last的維度；

S3034、將score輸入前饋神經網絡，得到融合特征f_cp；

步驟S5中，計算損失的方法包括：

S501、計算條件信息與文本數據的互信息損失L_point：

L_point＝(e^x-1)^-1；

式中，a表示文本數據，c表示條件信息；x為文本數據和條件信息之間的互信息計算結果；p(a)表示文本數據中每個詞出現概率的累積；p(c)表示條件信息與文本數據中每個詞出現概率的累積；p(a,c)表示文本數據中每個詞與條件信息的概率累積；

S502、將條件信息設置為空集，計算無條件內容損失L_null：

式中，c表示條件信息；x_i表示當前生成的詞；{x₁,x₂…x_i-1}表示生成x_i需要的提示文本；表示x_i的后驗概率；k表示生成文本的最大長度；

S503、通過如下公式計算最終損失Loss：

式中，當所述互信息損失參與訓練時，否則

當所述無條件內容損失參與訓練時，否則

2.根據權利要求1所述的一種條件文本生成方法，其特征在于，步驟S1中，通過爬蟲采集網上公開的文本數據，并存儲為json格式；所采集的文本數據包括內容和主題。