[發明專利]文本數據降噪方法及裝置、電子設備和可讀存儲介質

在審

• 申請號: 202011473869.X
• 申請日: 2020-12-15
• 公開（公告）號: CN112487809A
• 公開（公告）日: 2021-03-12
• 發明（設計）人: 劉陽
• 申請（專利權）人: 北京金堤征信服務有限公司
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F16/35;G06K9/62;G06N3/04;G06N20/00
• 代理公司: 北京思源智匯知識產權代理有限公司 11657
• 代理人: 毛麗琴

本公開的實施例提供了文本數據降噪方法及裝置、計算機可讀存儲介質、電子設備和計算機程序。該方法包括：獲取待處理文本集合和用于表征待處理文本集合所屬的類別的類別向量；確定待處理文本集合包括的文本的文本特征向量，組成文本特征向量集合；基于文本特征向量集合和類別向量，確定待處理文本集合的距離空間；基于距離空間，從文本特征向量集合中確定噪聲數據，并將噪聲數據對應的文本從待處理文本集合中刪除。本公開技術方案能夠有效地對文本數據進行降噪，提高特定類別的文本數據的純凈程度，有助于降低噪聲對文本進行分析帶來的干擾，提高基于降噪后的文本集合訓練的文本分類模型的分類準確性。

技術領域

本公開涉及計算機技術領域，特別涉及文本數據降噪方法及裝置、電子設備計算機可讀存儲介質和計算機程序。

背景技術

在文本分析特別是文本分類需求中，由于文字本身的復雜性和文本語義的多樣性，以及數據采集的多源性，文本中會存在較多的噪聲干擾，這些在文本中的噪聲數據，會在對該文本進行分析的過程中帶來很多的干擾，也會對文本分類模型帶來準確和性能的較大影響。

發明內容

本公開的目的在于提供一種文本數據降噪方法及裝置、電子設備計算機可讀存儲介質和計算機程序，進而至少在一定程度上解決上述背景技術中描述的技術問題。

本公開的其他特性和優點將通過下面的詳細描述變得顯然，或部分地通過本公開的實踐而習得。

根據本公開的第一方面，提供文本數據降噪方法，包括：獲取待處理文本集合和用于表征待處理文本集合所屬的類別的類別向量；確定待處理文本集合包括的文本的文本特征向量，組成文本特征向量集合；基于文本特征向量集合和類別向量，確定待處理文本集合的距離空間；基于距離空間，從文本特征向量集合中確定噪聲數據，并將噪聲數據對應的文本從待處理文本集合中刪除。

在本公開的示例性實施例中，基于文本特征向量集合和類別向量，確定待處理文本集合的距離空間，包括：對文本特征向量集合進行聚類，得到至少兩個簇；確定至少兩個簇中的每個簇的質心向量；確定每個質心向量與類別向量的距離；將所得到的各個距離中的最大距離和最小距離組成的區間確定為距離空間。

在本公開的示例性實施例中，基于距離空間，從文本特征向量集合中確定噪聲數據，包括：基于第一距離閾值，從至少兩個簇中確定目標簇；將目標簇包括的文本特征向量確定為噪聲數據。

在本公開的示例性實施例中，基于距離空間，從文本特征向量集合中確定噪聲數據，還包括：基于第二距離閾值和第一距離閾值，從至少兩個簇中確定待篩選簇，其中，第二距離閾值小于第一距離閾值；對待篩選簇包括的文本特征向量進行異常點檢測，確定出噪聲數據。

在本公開的示例性實施例中，在獲取待處理文本集合和用于表征待處理文本集合所屬的類別的類別向量之前，該方法還包括：獲取初始文本集合；從初始文本集合中的每個文本中確定類別相關詞語，其中，類別相關詞語用于表征與初始文本集合所屬的類別相關的詞語；將初始文本集合中的每個文本對應的類別相關詞語組成的文本確定為待處理文本集合包括的文本。

在本公開的示例性實施例中，在獲取待處理文本集合和用于表征待處理文本集合所屬的類別的類別向量之前，該方法還包括：獲取待處理文本集合所屬的類別對應的類別描述文本；確定類別描述文本的文本特征向量作為類別向量。

在本公開的示例性實施例中，在將噪聲數據對應的文本從待處理文本集合中刪除之后，該方法還包括：將刪除噪聲數據后的文本集合確定為樣本文本集合；將樣本文本包括的文本作為初始模型的輸入，將預先對輸入的文本進行標注的類別信息作為初始模型的期望輸出，訓練得到文本分類模型。