[發明專利]干擾信息去除方法、去干擾模型組件及垃圾文本識別系統

有效

• 申請號: 201811099134.8
• 申請日: 2018-09-20
• 公開（公告）號: CN110941705B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 康楊楊;高喆;陶秀莉;孫常龍;劉曉鐘;司羅
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/338;G06F40/211;G06F40/216;G06F40/30
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 李輝;劉淼

本申請公開了一種干擾信息去除方法、去干擾模型組件及垃圾文本識別系統，涉及信息識別技術領域。方法包括：獲取包括多個詞的待處理文本；將待處理文本輸入預先訓練的去干擾模型組件，以便去干擾模型組件輸出為待處理文本去除干擾信息后的目標文本，該目標文本包括去干擾模型組件逐步輸出的多個目標詞。本申請能夠將待處理文本中的干擾信息去除，特別是在文本反垃圾過程中，可有效識別和去除干擾信息，為后續的信息處理提供了更為干凈的語料。

技術領域

本申請涉及信息識別技術領域，尤其涉及一種干擾信息去除方法、去干擾模型組件及垃圾文本識別系統。

背景技術

目前，在互聯網中存在大量的文本信息，而在文本信息中有很多是垃圾信息(例如，涉及廣告、涉黃以及辱罵等信息)。如何有效的識別這些垃圾信息是內容安全領域所面臨的重要挑戰之一。而目前，文本反垃圾的方式是采用常規的機器學習算法，機器學習算法從一定程度上緩解了人力不足導致無法及時處理垃圾信息的缺陷，大大提升了處置垃圾信息的效率。然而網絡黑產為了規避系統算法的攔截，不斷的通過人工學習，制造各種干擾信息來迷惑系統算法，從而使得垃圾信息難以被識別，例如在正常文本中插入各種無意義(比如各種符號和標點)，或者語義不相關的文字信息等。

因此，如何識別和去除干擾信息，成為目前文本反垃圾亟需解決的一個問題。

發明內容

本申請的實施例提供一種干擾信息去除方法、去干擾模型組件及垃圾文本識別系統，以實現在文本反垃圾過程中有效識別和去除干擾信息。

為達到上述目的，本申請采用如下技術方案：

一方面，本申請提供了一種干擾信息的去除方法，包括：

獲取包括多個詞的待處理文本；

將所述待處理文本輸入預先訓練的去干擾模型組件，以便所述去干擾模型組件輸出為所述待處理文本去除干擾信息后的目標文本，所述目標文本包括所述去干擾模型組件逐步輸出的多個目標詞；

其中，所述去干擾模型組件包括第一編碼器、第一解碼器、第二編碼器和第二解碼器，所述去干擾模型組件在每一步輸出的目標詞基于所述第二編碼器為各個詞生成的第二編碼隱藏狀態、第二解碼器在當前步生成的第二解碼隱藏狀態和所述去干擾模型組件在上一步輸出的目標詞來確定，所述各個詞的第二編碼隱藏狀態由第二編碼器基于所述第一編碼器為各個詞生成的第一編碼隱藏狀態而生成，所述第二解碼器在當前步生成的第二解碼隱藏狀態由第二解碼器至少基于所述第一解碼器在當前步的第一解碼隱藏狀態而生成。

另一方面，本申請提供了一種去干擾模型組件，包括輸入單元、第一編碼器、第一解碼器、第二編碼器、第二解碼器以及輸出單元；

所述輸入單元，用于接收待處理文本，并生成所述待處理文本所包含的各個詞的詞向量；

所述第一編碼器，用于逐步接收各個詞的詞向量，并逐步為各個詞生成第一編碼隱藏狀態；

所述第一解碼器，用于接收第一解碼器在上一步生成的第一解碼隱藏狀態和輸出單元在上一步輸出的目標詞，并生成在當前步的第一解碼隱藏狀態；

所述第二編碼器，用于逐步接收各個詞的第一編碼隱藏狀態，并逐步為各個詞生成第二編碼隱藏狀態；

所述第二解碼器，用于接收第二解碼器在上一步生成的第二解碼隱藏狀態和第一解碼器在當前步生成的第一解碼隱藏狀態，并生成在當前步的第二解碼隱藏狀態；

所述輸出單元，用于選擇最終概率分布中概率最大的詞作為當前步輸出的目標詞；