[發明專利]一種基于正負樣本對抗訓練的文本摘要生成方法

在審

• 申請號: 201910542798.5
• 申請日: 2019-06-21
• 公開（公告）號: CN110347819A
• 公開（公告）日: 2019-10-18
• 發明（設計）人: 向陽;邱俊
• 申請（專利權）人: 同濟大學
• 主分類號: G06F16/34
• 分類號: G06F16/34;G06N3/04;G06N3/08
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 趙繼明

1.一種基于正負樣本對抗訓練的文本摘要生成方法，其特征在于，該方法包括以下步驟：

步驟1：根據需求建立相應風格的專家摘要庫；

步驟2：建立對抗訓練網絡，所述對抗訓練網絡包括由解碼器和編碼器組成的生成器和判別器；

步驟3：初始化對抗訓練網絡并將專家摘要庫中的文本輸入至對抗訓練網絡的生成器中以生成用于判別器訓練需要的第一批次假摘要負樣本；

步驟4：利用專家摘要庫和第一批次假摘要負樣本對對抗訓練網絡中的判別器進行基于有監督學習的分類訓練并根據判別器經訓練后返回的分類判別結果計算更新梯度；

步驟5：根據更新梯度更新生成器參數并再次將專家摘要庫中的文本輸入至經過參數更新的生成器中以生成第二批次假摘要負樣本，并返回步驟4再次與專家摘要庫配合并最終再次計算更新梯度；

步驟6：循環迭代執行步驟4和步驟5中各自的訓練直至生成器和判別器均收斂后訓練結束，并利用訓練結束后的生成器生成實際需求的文本摘要。

2.根據權利要求1所述的一種基于正負樣本對抗訓練的文本摘要生成方法，其特征在于，所述的步驟4中的更新梯度的計算公式為：

式中，表示更新梯度，m表示輸入文本樣本數量，i為自然數，G(sⁱ)表示生成器生成的假摘要，D(G(sⁱ))表示判別器對于假摘要的判別結果為真。

3.根據權利要求1所述的一種基于正負樣本對抗訓練的文本摘要生成方法，其特征在于，所述的步驟2中的生成器采用單向或雙向循環神經網絡以構建所述解碼器和所述編碼器，所述編碼器的輸入為需要生成摘要的文本，其輸出為語句向量，所述解碼器的輸入為語句向量，其輸出為最終生成摘要文本。

4.根據權利要求1所述的一種基于正負樣本對抗訓練的文本摘要生成方法，其特征在于，所述的步驟2中的生成器的網絡模型計算公式為：

h_t＝sig mod(W^hxx_t+W^hhh_t-1)

y_t＝W^hyh_t

式中，h_t和h_t-1表示網絡中前后連接對應的隱含層，x_t表示輸入文本對應時間維度的詞語，W^hx和W^hh表示與詞語和隱含層分別對應的權重，y_t表示與相應隱含層對應的語句向量，W^hy表示與相應語句向量對應的權重，P(y₁,...,y_L|x₁,...,x_M)表示最終生成摘要文本，P(y_t|v,y₁,...,y_t-1)表示所有語句向量，L表示語句向量數量。

5.根據權利要求1所述的一種基于正負樣本對抗訓練的文本摘要生成方法，其特征在于，所述步驟4中的判別器為使用神經網絡建立的用于區分假摘要和專家摘要的分類器，所述分類器的最優解描述公式為：

式中，D(y)表示分類器的最優解，即樣本被判別為真的概率，P_data(y)表示樣本來自專家摘要庫，P_g(y)表示樣本來自假摘要。

6.根據權利要求1所述的一種基于正負樣本對抗訓練的文本摘要生成方法，其特征在于，所述步驟2中的對抗訓練網絡的優化目標函數為：

式中，V^*表示對抗訓練網絡的優化目標函數，表示來自專家摘要庫的樣本，表示來自假摘要的樣本。