[發明專利]一種基于語義相關度模型的中文文本摘要獲取方法

有效

• 申請號: 201710397540.1
• 申請日: 2017-05-31
• 公開（公告）號: CN107291836B
• 公開（公告）日: 2020-06-02
• 發明（設計）人: 孫栩;馬樹銘;許晶晶
• 申請（專利權）人: 北京大學
• 主分類號: G06F16/34
• 分類號: G06F16/34;G06F40/30
• 代理公司: 北京萬象新悅知識產權代理有限公司 11360
• 代理人: 黃鳳茹

1.一種基于語義相關度模型的中文文本摘要獲取方法，通過構建語義相關度模型，得到原文本的編碼向量和摘要的解碼向量之間的相關度，作為原文本和生成摘要之間相關性的度量；再通過訓練語義相關度模型最大化所述相關度，由此生成完整的摘要；包括如下步驟：

A.設計文本編碼器，所述文本編碼器利用深度神經網絡將原文本進行壓縮，得到原文本的編碼向量V_s；

B.設計摘要解碼生成器，在第一個時刻輸入原文本的編碼向量V_s和起始句子開始的標識符，利用深度神經網絡循環地在每一時刻輸入上一個時刻預測得到的字或標識符，經過網絡結構輸出當前時刻預測的字，經過多次循環得到多個連續的字，即為一段完整的摘要；摘要解碼生成器還同時生成上述完整摘要的解碼向量V_t；

C.構建語義相關度模型，得到兩個向量V_s與V_t之間的相關度，作為原文本和生成摘要之間相關性的度量；所述語義相關度模型為余弦相似函數，表示為式1：

其中，V_s為文本編碼器生成的編碼向量；V_t為摘要解碼生成器生成的解碼向量；符號‖·‖代表向量的二范數；通過式1所示余弦相似函數得到兩個向量V_s與V_t之間的相關度，作為原文本和生成摘要之間相關性的度量；

D.訓練語義相關度模型，即最大化步驟C得到的相關度；

E.經過多輪訓練，當步驟C得到的相關度最大化時停止訓練，此時摘要解碼生成器即生成完整的摘要。

2.如權利要求1所述中文文本摘要獲取方法，其特征是，步驟A具體使用深度神經網絡中的循環神經網絡，在開始時刻將原文本中的一個字輸入到循環神經網絡，將這個字壓縮成一個向量，然后將壓縮后得到的向量傳入下一時刻；下一時刻將上一時刻的壓縮向量和原文本的下一個字輸入到循環神經網絡，再將壓縮得到的新向量傳入下一時刻；在壓縮完所有文本后得到的編碼向量，即是文本編碼器壓縮后的信息。

3.如權利要求1所述中文文本摘要獲取方法，其特征是，步驟B具體采用深度神經網絡中的長短時記憶網絡，在第一個時刻將一個開始的標識符輸入長短時記憶網絡，然后在接下來的每一時刻輸入上一時刻預測的字，經過網絡結構輸出當前時刻預測的字，最后時刻輸出結束的標識符，摘要解碼生成器即生成一段完整的摘要。

4.如權利要求1所述中文文本摘要獲取方法，其特征是，步驟D使用Adam優化算法訓練語義相關度模型，最大化步驟C得到的相關度。

5.如權利要求4所述中文文本摘要獲取方法，其特征是，在訓練過程中，先隨機選取訓練數據中的多個樣本，對樣本按照所述語義相關度模型計算目標函數，目標函數表示為式2：

其中，為訓練數據中的正確摘要；p(y|x；θ)為解碼生成器預測出摘要的概率；λ為模型的權重系數；cos(V_s,V_t)為語義相關模型計算出的相關度值；

訓練的目標是最大化模型的目標函數：先計算目標函數的梯度，再使用Adam優化算法依照梯度更新模型的參數；當模型的目標函數達到最大化時，即得到訓練好的語義相關度模型。