[發明專利]一種基于預訓練語言模型的文本生成方法

有效

• 申請號: 202210133050.1
• 申請日: 2022-02-14
• 公開（公告）號: CN114510924B
• 公開（公告）日: 2022-09-20
• 發明（設計）人: 馮驍騁;秦兵;顧宇軒;劉挺;馬思成
• 申請（專利權）人: 哈爾濱工業大學
• 主分類號: G06F40/216
• 分類號: G06F40/216;G06F40/289;G06F40/30;G06F16/35
• 代理公司: 哈爾濱華夏松花江知識產權代理有限公司 23213
• 代理人: 岳昕

1.一種基于預訓練語言模型的文本生成方法，其特征在于，所述方法具體包括以下步驟：

步驟一、獲取用于文本生成的基線模型；

步驟二、計算獲取的基線模型中的預訓練語言模型在當前解碼位置下生成目標風格的傾向；

所述步驟二的具體實現過程采用下述方式A或方式B；

方式A的具體流程為：

給定主題風格a和主題風格a所對應的詞表W^a＝{w₁,w₂,...,w_k}；

其中，w_k為主題風格a中第k個主題相關的關鍵詞；

則預訓練語言模型在當前解碼位置i下生成目標風格的傾向t_H為：

其中，P(x_i＝w|x_＜i)為當前解碼位置i下詞表W^a中單詞w出現概率；

方式B的具體流程為：

給定屬于風格a的文本集合為D^a，不屬于風格a的文本集合為D^a’，count(u,D^a)為一個n-gram詞組u出現在文本集合D^a中的次數，則詞組u相對于風格a的重要程度分數score(u,a)為：

其中，∈是用于平滑的超參數，count(u,D^a’)為詞組u出現在文本集合D^a’中的次數；

同理，分別得到各個n-gram詞組相對于風格a的重要程度分數；

根據獲得的重要程度分數對文本集合中的詞組進行標注，并在基線模型中引入額外的attention層作為規整模塊，規整模塊的輸出為：

K＝W_k·H^T

V＝W_v·H^T

c＝softmax(Q·K)·V

其中，H為預訓練語言模型對于給定上文計算出的隱狀態表示向量，H^T為H的轉置，H＝(h₁,h₂,...,h_i)，h_i是預訓練語言模型在當前解碼位置i時計算出的隱狀態表示，c是attention層計算出的整體表示；則

其中，W_k,W_v,W,Q均為參數矩陣，K和V為中間變量，t_T為在當前解碼位置下生成目標風格的傾向，softmax(W·c)_[n]代表取出softmax(W·c)結果中的第n維數值，n代表標注的第n類，n＝1,2,…,10，n′代表第n類所對應分數區間的中位數；

所述根據獲得的重要程度分數對文本集合中的詞組進行標注，標注方法為：

將各個n-gram詞組相對于風格a的重要程度分數正則化到(0,1]之間后，

若某個n-gram詞組對應的正則化值在(0,0.1]之間，則將該n-gram詞組標注為第1類；

若某個n-gram詞組對應的正則化值在(0.1,0.2]之間，則將該n-gram詞組標注為第2類；

若某個n-gram詞組對應的正則化值在(0.2,0.3]之間，則將該n-gram詞組標注為第3類；

若某個n-gram詞組對應的正則化值在(0.3,0.4]之間，則將該n-gram詞組標注為第4類；

若某個n-gram詞組對應的正則化值在(0.4,0.5]之間，則將該n-gram詞組標注為第5類；

若某個n-gram詞組對應的正則化值在(0.5,0.6]之間，則將該n-gram詞組標注為第6類；

若某個n-gram詞組對應的正則化值在(0.6,0.7]之間，則將該n-gram詞組標注為第7類；

若某個n-gram詞組對應的正則化值在(0.7,0.8]之間，則將該n-gram詞組標注為第8類；

若某個n-gram詞組對應的正則化值在(0.8,0.9]之間，則將該n-gram詞組標注為第9類；

若某個n-gram詞組對應的正則化值在(0.9,1.0]之間，則將該n-gram詞組標注為第10類；

步驟三、根據預訓練語言模型在當前解碼位置下生成目標風格的傾向對控制器進行約束，得到在當前解碼位置下的條件生成概率；

根據條件生成概率進行目標風格的文本生成；

對應于方式A，步驟三中所采取的具體過程為：

其中，P(X|a)為在當前解碼位置下的條件生成概率，P(x_i|x_＜i)為預訓練語言模型在當前解碼位置i時產生的概率分布，λ為超參數，f(a,P(x_≤i)為在當前解碼位置i時對控制器的約束函數，P(a|x_＜i)為控制器在當前解碼位置i時產生的概率分布，N代表總的解碼位置數；

f(a,P(x_≤i))＝t_H/τ_H

其中，τ_H為設定的閾值，t_H為預訓練語言模型在當前解碼位置i下生成目標風格的傾向；

對應于方式B，步驟三中所采取的具體過程為：

其中，P(X|a)為在當前解碼位置下的條件生成概率，P(x_i|x_＜i)為預訓練語言模型在當前解碼位置i時產生的概率分布，λ為超參數，f(a,P(x_≤i)為在當前解碼位置i時對控制器的約束函數，P(a|x_＜i)為控制器在當前解碼位置i時產生的概率分布，N代表總的解碼位置數；

f(a,P(x_≤i))＝t_T/τ_T

其中，τ_T為設定的閾值。