[發明專利]基于強化學習的關鍵詞抽取方法

有效

• 申請號: 201810774634.0
• 申請日: 2018-07-13
• 公開（公告）號: CN108897896B
• 公開（公告）日: 2020-06-02
• 發明（設計）人: 張超;徐易楠;楊振宇;劉云峰;吳悅;胡曉;汶林丁
• 申請（專利權）人: 深圳追一科技有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F40/289
• 代理公司: 北京細軟智谷知識產權代理有限責任公司 11471
• 代理人: 付登云

1.一種基于強化學習的關鍵詞抽取方法，其特征在于，包括：

將多組對話數據組成的語料庫進行預處理；

將所述語料庫中第n組對話建立一個關鍵詞記憶槽G_n，所述關鍵詞記憶槽G_n用于記錄第n組對話的多個歷史關鍵詞的詞向量；

將關鍵詞記憶槽G_n進行初始化得到關鍵詞記憶槽G_L；

利用強化學習模型對關鍵詞記憶槽G_L進行多輪更新得到關鍵詞記憶槽G'_L，從句首到句尾依次掃描第n組對話中當前問句S_i中的每個詞，并以當前掃描詞C_i和所述第n組對話的當前關鍵詞記憶槽G_L的拼接向量作為狀態s，即s＝[C_i,G_L]；將狀態s作為輸入帶入強化學習模型中，得到輸出動作a，所述動作a為取值范圍在[0,L]的正整數；將狀態轉移概率P(s'|s,a)設置為1，以使狀態s每次執行動作a后都能發生狀態遷移得到新狀態s’；根據動作a的值判斷當前掃描詞是否為關鍵詞；計算獎勵函數R(s,a)；根據獎勵函數R(s,a)值確定下一次訓練時動作a的輸出值；將強化學習訓練次數設置為M次，即所述利用強化學習模型對關鍵詞記憶槽G_L進行M輪更新得到關鍵詞記憶槽G'_L；

所述關鍵詞記憶槽G'_L中包括從第n組對話中抽取的多個關鍵詞的詞向量。

2.根據權利要求1所述的方法，其特征在于，所述將多組對話數據組成的語料庫進行預處理，包括：建立詞向量與關鍵詞詞語對應關系表，依照所述詞向量與關鍵詞詞語對應關系表對所述語料庫中所有對話的問句和答句進行向量轉化，第n組對話中第i個問句進行向量轉化得到S_i，與第i個問句對應的標準答句進行向量轉化得到Y_i。

3.根據權利要求2所述的方法，其特征在于，所述對所述語料庫中所有對話的問句和答句進行向量轉化，包括：使用Word2Vec工具將所述語料庫中所有對話的問句和與問句對應的標準答句轉化為向量形式。

4.根據權利要求1所述的方法，其特征在于，所述將關鍵詞記憶槽G_n進行初始化，包括：對關鍵詞記憶槽G_n進行長度初始化和向量初始化，所述長度初始化包括將所述關鍵詞記憶槽G_n的長度設置為L，所述向量初始化包括將所述關鍵詞記憶槽G_n中向量設置為0，得到關鍵詞記憶槽G_L＝[0,0,...,0]。

5.根據權利要求1所述的方法，其特征在于，所述根據動作a的值判斷當前掃描詞是否為關鍵詞，包括：若動作a為0，則當前掃描詞C_i不為關鍵詞，否則，將當前掃描詞C_i視為關鍵詞，并更新關鍵詞記憶槽G_L。

6.根據權利要求5所述的方法，其特征在于，所述將當前掃描詞C_i視為關鍵詞，并更新關鍵詞記憶槽G_L，包括：

將當前掃描詞C_i存儲到關鍵詞記憶槽G_L的第k個位置上，所述k為動作a輸出的值。