[發(fā)明專利]處理文本的方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201110230270.8
• 申請(qǐng)日: 2011-08-11
• 公開（公告）號(hào): CN102929891A
• 公開（公告）日: 2013-02-13
• 發(fā)明（設(shè)計(jì)）人: 許泰清;徐磊石;胡四海
• 申請(qǐng)（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京康信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11240
• 代理人: 吳貴明

1.一種處理文本的方法，其特征在于，包括：

在倒排索引中查找待處理的文本段中的關(guān)鍵詞，統(tǒng)計(jì)預(yù)存的文本段集合中的各個(gè)文本段或該文本段的標(biāo)識(shí)出現(xiàn)在包括所述關(guān)鍵詞的條目中的次數(shù)，按該次數(shù)由高到低的順序從所述預(yù)存的文本段集合中選擇多個(gè)文本段，所述倒排索引為對(duì)預(yù)存的文本段集合建立的倒排索引，其包括多個(gè)條目，每個(gè)條目包括一個(gè)關(guān)鍵詞，并且對(duì)應(yīng)保存有包含該關(guān)鍵詞的文本段或該文本段的標(biāo)識(shí)；

計(jì)算待處理的文本段與選擇的多個(gè)文本段中的各個(gè)文本段之間的相似度，得到多個(gè)相似度的值；

判斷所述多個(gè)相似度的值中的最小值是否處于設(shè)定范圍內(nèi)，若是，則輸出預(yù)設(shè)內(nèi)容的信息。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述計(jì)算待處理的文本段與選擇的多個(gè)文本段中的各個(gè)文本段之間的相似度包括：使用字符串相似度比對(duì)的算法計(jì)算待處理的文本段與選擇的多個(gè)文本段中的各個(gè)文本段之間的相似度。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述判斷的結(jié)果為是的情況下，將所述待處理文本段添加到所述文本段集合中。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述計(jì)算待處理的文本段與預(yù)存的文本段集合內(nèi)的多個(gè)文本段之間的相似度之前，還包括：按照預(yù)設(shè)的字符串相似的判斷準(zhǔn)則，去除所述文本段集合中與其他文本段相似的文本段。

5.根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的方法，其特征在于，

所述預(yù)存的文本段集合為電子商務(wù)的計(jì)算機(jī)系統(tǒng)中的歷史用戶通信地址；

所述預(yù)設(shè)內(nèi)容的信息包括：歷史地址提示信息，用于表達(dá)待處理的文本段屬于所述歷史用戶通信地址。

6.根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的方法，其特征在于，

所述預(yù)存的文本段集合為電子商務(wù)的計(jì)算機(jī)系統(tǒng)中的黑名單通信地址；

所述預(yù)設(shè)內(nèi)容的信息包括：黑名單用戶提示信息，用于表達(dá)待處理的文本段屬于所述黑名單通信地址。

7.一種處理文本的裝置，其特征在于，包括：

文本段選擇模塊，用于在倒排索引中查找待處理的文本段中的關(guān)鍵詞，統(tǒng)計(jì)預(yù)存的文本段集合中的各個(gè)文本段或該文本段的標(biāo)識(shí)出現(xiàn)在包括所述關(guān)鍵詞的條目中的次數(shù)，按該次數(shù)由高到低的順序從所述預(yù)存的文本段集合中選擇多個(gè)文本段，所述倒排索引為對(duì)預(yù)存的文本段集合建立的倒排索引，其包括多個(gè)條目，每個(gè)條目包括一個(gè)關(guān)鍵詞，并且對(duì)應(yīng)保存有包含該關(guān)鍵詞的文本段或該文本段的標(biāo)識(shí)；

計(jì)算模塊，用于計(jì)算待處理的文本段與選擇的多個(gè)文本段中的各個(gè)文本段之間的相似度，得到多個(gè)相似度的值；

判斷模塊，用于判斷所述多個(gè)相似度的值中的最小值是否處于設(shè)定范圍內(nèi)，若是，則輸出預(yù)設(shè)內(nèi)容的信息。

8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述文本段選擇模塊還用于使用字符串相似度比對(duì)的算法計(jì)算待處理的文本段與選擇的多個(gè)文本段中的各個(gè)文本段之間的相似度。

9.根據(jù)權(quán)利要求7所述的裝置，其特征在于，判斷模塊還用于在所述判斷結(jié)果為是的情況下，將所述待處理文本段添加到所述文本段集合中。

10.根據(jù)權(quán)利要求7所述的裝置，其特征在于，還包括預(yù)處理模塊，用于在所述計(jì)算模塊進(jìn)行計(jì)算之前，按照預(yù)設(shè)的字符串相似的判斷準(zhǔn)則，去除所述文本段集合中與其他文本段相似的文本段。

11.根據(jù)權(quán)利要求7至10中任一項(xiàng)所述的裝置，其特征在于，

所述裝置還包括保存模塊，用于將電子商務(wù)的計(jì)算機(jī)系統(tǒng)中的歷史用戶通信地址作為所述文本段集合進(jìn)行保存；

所述判斷模塊還用于輸出歷史地址提示信息，該歷史地址提示信息用于表達(dá)待處理的文本段屬于所述歷史用戶通信地址。

12.根據(jù)權(quán)利要求7至10中任一項(xiàng)所述的裝置，其特征在于，

所述裝置還包括保存模塊，用于將電子商務(wù)的計(jì)算機(jī)系統(tǒng)中的黑名單通信地址作為所述文本段集合進(jìn)行保存；

所述判斷模塊還用于輸出黑名單用戶提示信息，該黑名單用戶提示信息用于表達(dá)待處理的文本段屬于所述黑名單通信地址。