[發明專利]處理文本的方法和裝置

有效

• 申請號: 201110230270.8
• 申請日: 2011-08-11
• 公開（公告）號: CN102929891A
• 公開（公告）日: 2013-02-13
• 發明（設計）人: 許泰清;徐磊石;胡四海
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 吳貴明

1.一種處理文本的方法，其特征在于，包括：

在倒排索引中查找待處理的文本段中的關鍵詞，統計預存的文本段集合中的各個文本段或該文本段的標識出現在包括所述關鍵詞的條目中的次數，按該次數由高到低的順序從所述預存的文本段集合中選擇多個文本段，所述倒排索引為對預存的文本段集合建立的倒排索引，其包括多個條目，每個條目包括一個關鍵詞，并且對應保存有包含該關鍵詞的文本段或該文本段的標識；

計算待處理的文本段與選擇的多個文本段中的各個文本段之間的相似度，得到多個相似度的值；

判斷所述多個相似度的值中的最小值是否處于設定范圍內，若是，則輸出預設內容的信息。

2.根據權利要求1所述的方法，其特征在于，所述計算待處理的文本段與選擇的多個文本段中的各個文本段之間的相似度包括：使用字符串相似度比對的算法計算待處理的文本段與選擇的多個文本段中的各個文本段之間的相似度。

3.根據權利要求1所述的方法，其特征在于，在所述判斷的結果為是的情況下，將所述待處理文本段添加到所述文本段集合中。

4.根據權利要求1所述的方法，其特征在于，所述計算待處理的文本段與預存的文本段集合內的多個文本段之間的相似度之前，還包括：按照預設的字符串相似的判斷準則，去除所述文本段集合中與其他文本段相似的文本段。

5.根據權利要求1至4中任一項所述的方法，其特征在于，

所述預存的文本段集合為電子商務的計算機系統中的歷史用戶通信地址；

所述預設內容的信息包括：歷史地址提示信息，用于表達待處理的文本段屬于所述歷史用戶通信地址。

6.根據權利要求1至4中任一項所述的方法，其特征在于，

所述預存的文本段集合為電子商務的計算機系統中的黑名單通信地址；

所述預設內容的信息包括：黑名單用戶提示信息，用于表達待處理的文本段屬于所述黑名單通信地址。

7.一種處理文本的裝置，其特征在于，包括：

文本段選擇模塊，用于在倒排索引中查找待處理的文本段中的關鍵詞，統計預存的文本段集合中的各個文本段或該文本段的標識出現在包括所述關鍵詞的條目中的次數，按該次數由高到低的順序從所述預存的文本段集合中選擇多個文本段，所述倒排索引為對預存的文本段集合建立的倒排索引，其包括多個條目，每個條目包括一個關鍵詞，并且對應保存有包含該關鍵詞的文本段或該文本段的標識；

計算模塊，用于計算待處理的文本段與選擇的多個文本段中的各個文本段之間的相似度，得到多個相似度的值；

判斷模塊，用于判斷所述多個相似度的值中的最小值是否處于設定范圍內，若是，則輸出預設內容的信息。

8.根據權利要求7所述的裝置，其特征在于，所述文本段選擇模塊還用于使用字符串相似度比對的算法計算待處理的文本段與選擇的多個文本段中的各個文本段之間的相似度。

9.根據權利要求7所述的裝置，其特征在于，判斷模塊還用于在所述判斷結果為是的情況下，將所述待處理文本段添加到所述文本段集合中。

10.根據權利要求7所述的裝置，其特征在于，還包括預處理模塊，用于在所述計算模塊進行計算之前，按照預設的字符串相似的判斷準則，去除所述文本段集合中與其他文本段相似的文本段。

11.根據權利要求7至10中任一項所述的裝置，其特征在于，

所述裝置還包括保存模塊，用于將電子商務的計算機系統中的歷史用戶通信地址作為所述文本段集合進行保存；

所述判斷模塊還用于輸出歷史地址提示信息，該歷史地址提示信息用于表達待處理的文本段屬于所述歷史用戶通信地址。

12.根據權利要求7至10中任一項所述的裝置，其特征在于，

所述裝置還包括保存模塊，用于將電子商務的計算機系統中的黑名單通信地址作為所述文本段集合進行保存；

所述判斷模塊還用于輸出黑名單用戶提示信息，該黑名單用戶提示信息用于表達待處理的文本段屬于所述黑名單通信地址。