[發明專利]基于AI訓練的詞匯過濾方法及系統

有效

• 申請號: 202111285459.7
• 申請日: 2021-11-02
• 公開（公告）號: CN113722468B
• 公開（公告）日: 2022-02-15
• 發明（設計）人: 陳芳芳
• 申請（專利權）人: 杭銀消費金融股份有限公司
• 主分類號: G06F16/335
• 分類號: G06F16/335;G06F40/216;G06F40/30
• 代理公司: 浙江維創盈嘉專利代理有限公司 33477
• 代理人: 龔洋洋

本發明是關于基于AI訓練的詞匯過濾方法及系統，對于第一待處理文本會話事件與第二待處理文本會話事件一致的前提下，能按照不同層面的詞匯統計情況建立具有高相關性的AI過濾策略。而對于第一待處理文本會話事件與第二待處理文本會話事件不同的前提而言，能將第一待處理文本會話事件中不同層面的詞匯統計情況作為參考，得到針對第二待處理文本會話事件的詞匯過濾規則。如此，不用對第二待處理文本會話事件中的詞匯進行額外的分析就能夠得到針對第二待處理文本會話事件的詞匯過濾規則，從而提高詞匯過濾分析的效率，減少不必要的運算資源開銷。通過AI過濾策略，能夠實現對噪聲詞匯的過濾，從而確保所得詞匯具有較高的大數據挖掘分析價值。

技術領域

本發明涉及AI和詞匯過濾技術領域，具體而言，涉及一種基于AI訓練的詞匯過濾方法及系統。

背景技術

人工智能（Artificial Intelligence，AI）是計算機科學的一個分支，它企圖了解智能的實質，并生產出一種新的能以人類智能相似的方式做出反應的智能機器，該領域的研究包括機器人、語言識別、圖像識別、自然語言處理和專家系統等。人工智能從誕生以來，理論和技術日益成熟，應用領域也不斷擴大。在實際應用時，AI與語言識別和自然語言處理的結合越來越多，在一些應用環境下，需要對文本詞匯進行噪聲過濾以提高文本詞匯的后續大數據挖掘分析價值，然而相關技術難以通過構建有效的詞匯過濾策略來解決這一問題。

發明內容

第一方面，本發明實施例提供了一種基于AI訓練的詞匯過濾方法，包括：依據對第一待處理文本會話事件提取的會話段落集，確定所述會話段落集中熱點詞匯的使用分布情況；通過所述會話段落集中熱點詞匯的使用分布情況，確定在設定統計階段內添加到所述第一待處理文本會話事件的第一熱頻詞匯總結果和與所述第一待處理文本會話事件存在上下游關系的第二熱頻詞匯總結果；通過所述第一熱頻詞匯總結果和所述第二熱頻詞匯總結果，建立針對第二待處理文本會話事件下待分析語句的AI過濾策略。

如此設計，基于上述方案，可以結合提取到的會話段落集確定出不同層面的詞匯統計情況，可以包括分別表征添加到第一文本會話事件和關聯于第一待處理文本會話事件的第一熱頻詞匯總結果以及第二熱頻詞匯總結果。這樣，基于得到的與第一待處理文本會話事件相關的不同層面的詞匯統計情況，可以針對第二待處理文本會話事件下待分析語句確定詞匯過濾規則，即建立AI過濾策略。

可以理解的是，對于第一待處理文本會話事件與第二待處理文本會話事件一致的前提下，基于以上相關內容，能夠按照不同層面的詞匯統計情況建立具有高相關性的AI過濾策略。而對于第一待處理文本會話事件與第二待處理文本會話事件不同的前提而言，基于以上相關內容，能夠將第一待處理文本會話事件中不同層面的詞匯統計情況作為參考，得到針對第二待處理文本會話事件的詞匯過濾規則。如此，不用對第二待處理文本會話事件中的詞匯進行額外的分析就能夠得到針對第二待處理文本會話事件的詞匯過濾規則，從而提高詞匯過濾分析的效率，減少不必要的運算資源開銷。可以理解的是，通過AI過濾策略，能夠實現對噪聲詞匯的過濾，從而確保所得詞匯具有較高的大數據挖掘分析價值。

對于一些可能的實施例而言，所述第二待處理文本會話事件與所述第一待處理文本會話事件一致，或者，所述第二待處理文本會話事件為與所述第一待處理文本會話事件存在綁定關系的衍生文本會話事件。

對于一些可能的實施例而言，所述第一待處理文本會話事件包括設定會話場景內的第一交互主題，所述通過所述第一熱頻詞匯總結果和所述第二熱頻詞匯總結果，建立針對第二待處理文本會話事件下待分析語句的AI過濾策略，包括：通過所述第一熱頻詞匯總結果和所述第二熱頻詞匯總結果，確定所述第一交互主題在所述設定統計階段內的訪問統計結果；通過所述第一交互主題在所述設定統計階段內的訪問統計結果，建立針對所述第二待處理文本會話事件下待分析語句的AI過濾策略。