[發明專利]處理文本的方法和裝置

有效

• 申請號: 201110230270.8
• 申請日: 2011-08-11
• 公開（公告）號: CN102929891A
• 公開（公告）日: 2013-02-13
• 發明（設計）人: 許泰清;徐磊石;胡四海
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 吳貴明

技術領域

本申請涉及計算機技術，尤其涉及一種處理文本的方法和裝置。

背景技術

在互聯網中，為了避免無用信息或有害信息的傳播，常常需要進行文本處理。例如，在反垃圾郵件的設置中，郵件接收裝置例如郵件接收客戶端軟件將來信的地址與預存的黑名單地址進行精確匹配，若二者中的所有字符相同則拒收此來信。在這種情況下處理的文本為電子郵箱的地址。又如，在電子商務系統中，某些用戶會執行欺詐行為，為了限制欺詐行為需要對這些用戶留下的地址(通常為通信地址)進行檢測，目前也采用地址黑名單，將每一個地址進行精確匹配，若該地址中的所有字符與黑名單中的至少一個地址的所有字符相同，則認為該用戶涉嫌欺詐。

在這種“地址黑名單”的應用場景中，某些郵件發送者或者電子商務系統的用戶會采用變更地址的方式躲避檢測，傳統的做法是對地址文本中的少數字符進行更改，上述的檢測方式無法檢測出這種地址。

另外，在文本處理中還會遇到“歷史地址比較”的應用場景，即對于某個特定地址判斷已有地址列表中是否有某個曾經出現過的地址和它相類似，借以分析不同地址出現的次數等等。傳統的完全匹配法無法識別上文所述的變更地址，導致判斷的結果不準確。

在“地址黑名單”場景中，需要根據文本處理的結果來決策當前被判斷的地址是否涉嫌欺詐。現有的精確匹配技術只能處理完全相同的地址，如果對地址的少數字符進行修改，則無法直接檢測出修改后的地址，無法發揮黑名單的真正作用。同時，由于黑名單需要人工維護，即使能夠獲得所有修改后的地址并加入黑名單，這個名單也會變得很龐大，難以維護。

在“歷史地址比較”場景中，需要根據文本處理的結果來決策當前被判斷的地址是否為出現過的歷史地址，并統計不同地址出現的次數等指標。現有的匹配技術同樣只能匹配完全相同的地址，兩個相似的地址會被判斷成兩個不同地址，但是實際上它們是同一個地址。因此，傳統的處理技術會導致地址分析的結果不準確。

針對這兩個應用場景，現有的文本檢測方法處理效果不佳，目前尚未提出有效解決方案。

發明內容

本申請的主要目的是提供一種處理文本的方法和裝置，以解決現有技術中對于文本檢測的效果不佳的問題。

為了實現上述目的，根據本申請的一個方面，提供了一種處理文本的方法。

本申請的處理文本的方法包括：在倒排索引中查找待處理的文本段中的關鍵詞，統計預存的文本段集合中的各個文本段或該文本段的標識出現在包括所述關鍵詞的條目中的次數，按該次數由高到低的順序從所述預存的文本段集合中選擇多個文本段，所述倒排索引為對預存的文本段集合建立的倒排索引，其包括多個條目，每個條目包括一個關鍵詞，并且對應保存有包含該關鍵詞的文本段或該文本段的標識；計算待處理的文本段與選擇的多個文本段中的各個文本段之間的相似度，得到多個相似度的值；判斷所述多個相似度的值中的最小值是否處于設定范圍內，若是，則輸出預設內容的信息。

進一步地，所述計算待處理的文本段與選擇的多個文本段中的各個文本段之間的相似度包括：使用字符串相似度比對的算法計算待處理的文本段與選擇的多個文本段中的各個文本段之間的相似度。

進一步地，在所述判斷的結果為是的情況下，將所述待處理文本段添加到所述文本段集合中。

進一步地，所述計算待處理的文本段與預存的文本段集合內的多個文本段之間的相似度之前，還包括：按照預設的字符串相似的判斷準則，去除所述文本段集合中與其他文本段相似的文本段。

進一步地，所述預存的文本段集合為電子商務的計算機系統中的歷史用戶通信地址；所述預設內容的信息包括：歷史地址提示信息，用于表達待處理的文本段屬于所述歷史用戶通信地址。

進一步地，所述預存的文本段集合為電子商務的計算機系統中的黑名單通信地址；所述預設內容的信息包括：黑名單用戶提示信息，用于表達待處理的文本段屬于所述黑名單通信地址。

根據本申請的另一方面，提供了一種處理文本的裝置。