[發明專利]一種關鍵詞的確定方法、文本處理的方法及服務器

有效

• 申請號: 201810444290.7
• 申請日: 2018-05-10
• 公開（公告）號: CN110472198B
• 公開（公告）日: 2023-01-24
• 發明（設計）人: 李菁;宋彥
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F40/117
• 分類號: G06F40/117;G06F40/284;G06F16/335
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 王仲凱

1.一種文本處理的方法，其特征在于，包括：

獲取待訓練對話組信息集合，其中，所述待訓練對話組信息集合中包括N個待訓練對話組信息，所述待訓練對話組信息包括待訓練文本信息以及與所述待訓練文本信息關聯的待訓練附屬信息，所述N為大于或等于1的整數；

對所述待訓練對話組信息集合中的每個待訓練對話組信息進行編碼處理，得到所述每個待訓練對話組信息所對應的對話組特征信息；

根據所述每個待訓練對話組信息所對應的對話組特征信息，以及每個待訓練文本信息所對應的標簽序列，訓練得到關鍵詞抽取模型，其中，所述標簽序列用于表示所述待訓練文本信息中每個詞語與關鍵詞之間的關系；

獲取目標對話組信息，其中，所述目標對話組信息中包括目標文本信息；

通過所述關鍵詞抽取模型獲取所述目標文本信息所對應的目標標簽序列，所述目標標簽序列用于表示目標關鍵詞在所述目標文本信息中的位置；

根據所述目標標簽序列確定所述目標文本信息中的目標關鍵詞；

所述對所述待訓練對話組信息集合中的每個待訓練對話組信息進行編碼處理，得到所述每個待訓練對話組信息所對應的對話組特征信息，包括：

獲取所述每個待訓練對話組信息中的對話組詞序列，其中，所述對話組詞序列與所述待訓練文本信息具有對應關系；

根據所述每個待訓練對話組信息中的對話組詞序列，獲取所述對話組詞序列對應的詞向量；

根據所述對話組詞序列以及所述對話組詞序列對應的詞向量，計算得到所述每個待訓練對話組信息所對應的對話組特征信息，具體包括：

通過如下方式計算所述對話組特征信息：

其中，所述表示第i個待訓練對話組信息所對應的對話組特征信息，所述表示所述第i個待訓練對話組信息所對應的所述對話組詞序列，所述表示所述第i個待訓練對話組信息中所述對話組詞序列的第s個詞語所對應的詞向量，所述s表示所述對話組詞序列的中的第s個詞語；

或者，

所述對所述待訓練對話組信息集合中的每個待訓練對話組信息進行編碼處理，得到所述每個待訓練對話組信息所對應的對話組特征信息，包括：

獲取所述每個待訓練對話組信息所對應的對話組詞序列，以及每個待訓練文本信息所對應的文本詞序列；

根據所述對話組詞序列以及所述文本詞序列，確定所述每個待訓練對話組信息的相似度值；

根據所述每個待訓練對話組信息的相似度值以及詞向量矩陣，計算得到所述每個待訓練對話組信息所對應的對話組特征信息，具體包括：

通過如下方式計算所述對話組特征信息：

P_i＝softmax(V_i+M_i)；

其中，所述表示第i個待訓練對話組信息所對應的對話組特征信息，所述P_i表示所述第i個待訓練對話組信息的相似度值，所述C_i表示所述第i個待訓練對話組信息的詞向量矩陣，所述V_i表示第i個待訓練文本信息所對應的文本詞序列，所述M_i表示所述第i個待訓練對話組信息的對話組詞序列，所述softmax表示激活函數。

2.根據權利要求1所述的方法，其特征在于，所述訓練得到所述關鍵詞抽取模型之前，所述方法還包括：

獲取所述每個待訓練文本信息所對應的標簽序列，其中，所述標簽序列為二值標簽序列和/或五值標簽序列；

所述二值標簽序列包括第一標簽或者第二標簽，其中，所述第一標簽表示所述第i個待訓練文本信息中第s個詞語為關鍵詞，所述第二標簽表示所述第i個待訓練文本信息中第s個詞語為非關鍵詞，所述i為大于或等于1的整數，所述s為大于或等于1的整數；

所述五值標簽序列包括第三標簽、第四標簽、第五標簽、第六標簽或者第七標簽，其中，所述第三標簽表示所述第i個待訓練文本信息中第s個詞語為關鍵詞的一部分，且所述關鍵詞只包含所述第s個詞語，第四標簽表示所述第i個待訓練文本信息中第s個詞語為關鍵詞的一部分，且所述第s個詞語為所述關鍵詞的第一個詞語，第五標簽表示所述第i個待訓練文本信息中第s個詞語為關鍵詞的一部分，且所述第s個詞語既非所述關鍵詞的第一個詞語，又非所述關鍵詞的最后一個詞語，所述第六標簽表示所述第i個待訓練文本信息中第s個詞語為關鍵詞的一部分，且所述第s個詞語為所述關鍵詞的最后一個詞語，所述第七標簽表示所述第i個待訓練文本信息中第s個詞語不為關鍵詞的一部分。