[發明專利]一種文本序列生成方法及其系統

有效

• 申請號: 201911200922.6
• 申請日: 2019-11-29
• 公開（公告）號: CN111046178B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 楊楊;丹曉東;房超;高志鵬;邵蘇杰;楊會峰;高麗芳;王靜;于海濤;趙倩;張藝馨;石曉丹
• 申請（專利權）人: 北京郵電大學;北京智芯微電子科技有限公司;國網河北省電力有限公司信息通信分公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/205;G06N3/0464;G06N3/0442;G06N3/045;G06N3/0475;G06N3/094
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 馬瑞

1.一種文本序列生成方法，其特征在于，包括：

S1：將初始文本序列輸入至對抗網絡模型，所述對抗網絡模型包括生成器和判別器，所述生成器中包含至少一個特征反饋網絡模塊；

S2：所述特征反饋網絡模塊用于從所述判別器中調取高階特征，并基于所述高階特征生成指導特征向量；

S3：所述生成器基于所述指導特征向量，生成預輸出文本序列中的下一個詞，并將新構建的預輸出文本序列輸入至所述判別器中；

S4：所述判別器根據所述新構建的預輸出文本序列和所述初始文本序列更新所述高階特征；

S5：迭代執行步驟S2-S4，直至所述新構建的預輸出文本序列的總詞數達到設定閾值時，將所述預輸出文本序列輸入至所述判別器進行判別，并根據分類判別結果計算更新梯度；

S6：根據所述更新梯度更新所述生成器的參數，并再次輸入所述初始文本序列至更新后的生成器中；

S7：迭代執行步驟S2至S6直至所述生成器和判別器均收斂后，輸出目標文本序列；

在所述將初始文本序列輸入至對抗網絡模型之前，還包括：

基于長短期記憶神經網絡并利用交叉熵作為損失函數，構建所述生成器；基于卷積神經網絡，構建所述判別器；

所述反饋網絡模塊也是基于長短期記憶神經網絡所構建；

分別對所述生成器和所述判別器進行預訓練；

所述生成器的優化目標函數為：

其中，Y_1:T為生成器生成的文本序列；D_φ為判別器參數；log[D_φ(Y_1:T)]為生成序列在判別器輸出給生成器的獎勵函數；為對所述獎勵函數進行期望值計算的函數，θ為生成器的參數；

所述特征反饋網絡模塊用于從所述判別器中調取高階特征，包括以下步驟：

所述判別器的詞嵌入層將輸入的文本轉換成對應的文本向量；

以步長為1的卷積層代替經典的CNN模型的池化層，利用卷積層對所述文本向量進行特征提取，獲取與所述文本向量相對應的特征向量；

所述特征向量用于表征所述高階特征。

2.根據權利要求1所述的文本序列生成方法，其特征在于，所述并基于所述高階特征生成指導特征向量，包括：

基于所述長短期記憶神經網絡獲取當前時間步的特征轉換向量；

根據所述特征轉換向量獲取維度變換向量；

根據所述維度變換向量與當前時間步的序列，獲取所述指導特征向量；

所述指導特征向量用于表征詞庫中各個詞被選擇的概率。

3.根據權利要求2所述的文本序列生成方法，其特征在于，所述生成器基于所述指導特征向量，生成預輸出文本序列中的下一個詞，包括：

將所述指導特征向量輸入至所述生成器的softmax層中，以根據所述詞庫中各個詞被選擇的概率，選擇概率最大的詞作為所述預輸出文本序列中的下一個詞。

4.根據權利要求2所述的文本序列生成方法，其特征在于，

所述基于所述長短期記憶神經網絡獲取當前時間步的特征轉換向量的計算方法為：

z_t，h_t^C＝C_δ(f_t，h_t-1^C)，

其中，C表示特征反饋網絡模塊,δ為特征反饋網絡模塊的參數，表示當前時間步的隱狀態向量，f_t為提取的代表文本特征的向量，z_t表示當前時間步的特征轉換向量；其中當前時間步的特征轉換向量z_t由當前時間步的特征向量和前一時間步的隱狀態向量共同決定，為保持絡后續訓練的穩定性，可將z_t統一為單位向量；

所述根據所述特征轉換向量獲取維度變換向量的計算方法為：

其中，W表示維度變換矩陣，Z_t表示維度變換向量，z_i表示第i個時間步的特征向量。