[發明專利]文本數據降噪方法及裝置、電子設備和可讀存儲介質

在審

• 申請號: 202011473869.X
• 申請日: 2020-12-15
• 公開（公告）號: CN112487809A
• 公開（公告）日: 2021-03-12
• 發明（設計）人: 劉陽
• 申請（專利權）人: 北京金堤征信服務有限公司
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F16/35;G06K9/62;G06N3/04;G06N20/00
• 代理公司: 北京思源智匯知識產權代理有限公司 11657
• 代理人: 毛麗琴

1.一種文本數據降噪方法，其特征在于，包括：

獲取待處理文本集合和用于表征所述待處理文本集合所屬的類別的類別向量；

確定所述待處理文本集合包括的文本的文本特征向量，組成文本特征向量集合；

基于所述文本特征向量集合和所述類別向量，確定所述待處理文本集合的距離空間；

基于所述距離空間，從所述文本特征向量集合中確定噪聲數據，并將所述噪聲數據對應的文本從所述待處理文本集合中刪除。

2.根據權利要求1所述的方法，其特征在于，所述基于所述文本特征向量集合和所述類別向量，確定所述待處理文本集合的距離空間，包括：

對所述文本特征向量集合進行聚類，得到至少兩個簇；

確定所述至少兩個簇中的每個簇的質心向量；

確定所述每個質心向量與所述類別向量的距離；

將所得到的各個距離中的最大距離和最小距離組成的區間確定為所述距離空間。

3.根據權利要求2所述的方法，其特征在于，所述基于所述距離空間，從所述文本特征向量集合中確定噪聲數據，包括：

基于第一距離閾值，從所述至少兩個簇中確定目標簇；

將所述目標簇包括的文本特征向量確定為噪聲數據。

4.根據權利要求3所述的方法，其特征在于，所述基于所述距離空間，從所述文本特征向量集合中確定噪聲數據，還包括：

基于第二距離閾值和所述第一距離閾值，從所述至少兩個簇中確定待篩選簇，其中，所述第二距離閾值小于所述第一距離閾值；

對所述待篩選簇包括的文本特征向量進行異常點檢測，確定出噪聲數據。

5.根據權利要求1所述的方法，其特征在于，在所述獲取待處理文本集合和用于表征所述待處理文本集合所屬的類別的類別向量之前，所述方法還包括：

獲取初始文本集合；

從所述初始文本集合中的每個文本中確定類別相關詞語，其中，所述類別相關詞語用于表征與所述初始文本集合所屬的類別相關的詞語；

將所述初始文本集合中的每個文本對應的類別相關詞語組成的文本確定為所述待處理文本集合包括的文本。

6.根據權利要求1所述的方法，其特征在于，在所述獲取待處理文本集合和用于表征所述待處理文本集合所屬的類別的類別向量之前，所述方法還包括：

獲取所述待處理文本集合所屬的類別對應的類別描述文本；

確定所述類別描述文本的文本特征向量作為所述類別向量。

7.根據權利要求1-6之一所述的方法，其特征在于，在所述將所述噪聲數據對應的文本從所述待處理文本集合中刪除之后，所述方法還包括：

將刪除噪聲數據后的文本集合確定為樣本文本集合；

將所述樣本文本包括的文本作為初始模型的輸入，將預先對輸入的文本進行標注的類別信息作為所述初始模型的期望輸出，訓練得到文本分類模型。

8.一種文本數據降噪裝置，其特征在于，包括：

第一獲取模塊，用于獲取待處理文本集合和用于表征所述待處理文本集合所屬的類別的類別向量；

第一確定模塊，用于確定所述待處理文本集合包括的文本的文本特征向量，組成文本特征向量集合；

第二確定模塊，用于基于所述文本特征向量集合和所述類別向量，確定所述待處理文本集合的距離空間；

第三確定模塊，用于基于所述距離空間，從所述文本特征向量集合中確定噪聲數據，并將所述噪聲數據對應的文本從所述待處理文本集合中刪除。

9.一種電子設備，其特征在于，包括：

處理器；以及

存儲器，用于存儲所述處理器的可執行指令；

其中，所述處理器配置為經由執行所述可執行指令來執行權利要求1～7中任意一項所述的文本數據降噪方法。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1～7中任意一項所述的文本數據降噪方法。

11.一種計算機程序，包括計算機可讀代碼，其特征在于，當所述計算機可讀代碼在設備上運行時，所述設備中的處理器執行用于實現權利要求1-7任一項所述方法中各步驟的指令。