[發明專利]一種文本信息處理方法、裝置、電子設備及存儲介質

在審

• 申請號: 202011308053.1
• 申請日: 2020-11-20
• 公開（公告）號: CN112434524A
• 公開（公告）日: 2021-03-02
• 發明（設計）人: 牛力強
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 高天華;張穎玲

1.一種文本信息處理方法，其特征在于，所述方法包括：

獲取文本處理環境中的待處理文本信息；

對所述待處理文本信息進行分詞處理，確定至少一個候選關鍵詞向量；

通過詞向量處理網絡，對候選關鍵詞向量進行動態調整，形成候選關鍵詞向量集合，以及與所述候選關鍵詞向量集合中的不同關鍵詞向量所分別對應的獎勵值參數；

通過深度強化學習網絡，基于所述候選關鍵詞向量集合與獎勵值參數，確定與所述待處理文本信息相匹配的關鍵詞抽取策略；

基于所述關鍵詞抽取策略對所述候選關鍵詞向量集合進行抽取，獲得至少一個關鍵詞向量作為所述待處理文本信息的關鍵詞。

2.根據權利要求1所述的方法，其特征在于，所述對所述待處理文本信息進行分詞處理，確定至少一個候選關鍵詞向量，包括：

根據所述待處理文本信息所攜帶的問題文本參數信息，觸發相應的分詞庫；

通過所觸發的所述分詞庫單詞詞典對所述問題文本進行分詞處理，形成不同的詞語級問題文本；

對所述不同的詞語級問題文本進行除噪處理，形成與所述問題文本相對應的詞語級特征向量集合，其中，所述詞語級特征向量集合中包括至少一個候選關鍵詞向量。

3.根據權利要求2所述的方法，其特征在于，所述方法還包括：

確定對所述問題文本進行分詞處理時所使用的分詞庫的名稱；

根據與所述分詞庫的名稱，確定與所述問題文本相對應的詞語級特征向量相匹配的分詞庫的參數，其中，所述分詞庫的參數包括：

所述分詞庫的種類、所述分詞庫的名稱和所述分詞庫的版本。

4.根據權利要求2所述的方法，其特征在于，所述對所述不同的詞語級問題文本進行除噪處理，形成與所述問題文本相對應的詞語級特征向量集合，包括：

確定與所述詞向量處理網絡的使用環境相匹配的動態噪聲閾值；

根據所述動態噪聲閾值對所述問題文本集合進行去噪處理，并觸發與所述動態噪聲閾值相匹配的動態分詞策略；

根據與所述動態噪聲閾值相匹配的動態分詞策略，對所述問題文本進行分詞處理，形成與所述問題文本相對應的動態詞語級特征向量集合。

5.根據權利要求2所述的方法，其特征在于，所述對所述不同的詞語級問題文本進行除噪處理，形成與所述問題文本相對應的詞語級特征向量集合，包括：

確定與所述詞向量處理網絡的使用環境相對應的固定噪聲閾值；

根據所述固定噪聲閾值對所述問題文本集合進行去噪處理，并觸發與所述固定噪聲閾值相匹配的固定分詞策略；

根據與所述固定噪聲閾值相匹配的固定分詞策略，對所述問題文本進行分詞處理，與所述問題文本相對應的固定詞語級特征向量集合。

6.根據權利要求1所述的方法，其特征在于，所述通過詞向量處理網絡，對候選關鍵詞向量進行動態調整，形成候選關鍵詞向量集合，以及與所述候選關鍵詞向量集合中的不同關鍵詞向量所分別對應的獎勵值參數，包括：

通過所述詞向量處理網絡，利用蒙特卡羅樹搜索算法對所述候選關鍵詞向量進行刪除與合并，實現對所述候選關鍵詞向量進行動態調整；

確定所述候選關鍵詞向量集合中的每一個候選關鍵詞向量在標準語料庫中出現的次數信息；

確定每一個候選關鍵詞向量相匹配的字符向量在所述標準語料庫中出現的次數信息；

基于所述候選關鍵詞向量在標準語料庫中出現的次數信息以及字符向量在所述標準語料庫中出現的次數信息，確定所述候選關鍵詞向量集合中的不同關鍵詞向量所分別對應的獎勵值參數。

7.根據權利要求6所述的方法，其特征在于，所述方法還包括：

根據所述待處理文本信息的文本處理環境，確定與所述文本處理環境相適配的詞向量處理網絡的模型參數；

基于與所述文本處理環境相適配的詞向量處理網絡的模型參數，通過相匹配的蒙特卡羅樹搜索算法對所述候選關鍵詞向量進行刪除或者合并，動態調整所述候選關鍵詞向量的數量。