[發(fā)明專利]一種垃圾信息判斷方法和裝置以及一種服務(wù)器集群

有效

• 申請(qǐng)?zhí)枺?/td>: 201710558595.6
• 申請(qǐng)日: 2017-06-30
• 公開（公告）號(hào): CN107256214B
• 公開（公告）日: 2020-09-25
• 發(fā)明（設(shè)計(jì)）人: 宋時(shí)雨
• 申請(qǐng)（專利權(quán)）人: 聯(lián)想（北京）有限公司
• 主分類號(hào): G06F40/30
• 分類號(hào): G06F40/30;G06F40/279;G06F40/289;G06Q50/00
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 安之斐;李文娟

1.一種垃圾信息判斷方法，包括：

獲取特征詞匯表，其中所述特征詞匯表通過對(duì)預(yù)先獲取的多條樣本信息之間進(jìn)行文本相似度計(jì)算而得到；

接收待判斷的目標(biāo)信息；

將所述目標(biāo)信息與所述特征詞匯表進(jìn)行比較，以判斷所述目標(biāo)信息是否為垃圾信息；

其中，所述獲取特征詞匯表包括：

獲取多條樣本信息中每條樣本信息的樣本信息向量；

對(duì)多條樣本信息向量計(jì)算兩兩之間的文本相似度，當(dāng)存在其中兩條樣本信息向量之間的文本相似度符合預(yù)設(shè)條件時(shí)，將所述兩條樣本信息向量分別對(duì)應(yīng)的兩條樣本信息共同列入第一信息集合；

將沒有列入第一信息集合的樣本信息列入第二信息集合；

根據(jù)所述第一信息集合和所述第二信息集合的內(nèi)容獲取所述特征詞匯表。

2.如權(quán)利要求1所述的方法，其中，所述獲取多條樣本信息中每條樣本信息的樣本信息向量包括：

對(duì)所述多條樣本信息中的每一條樣本信息進(jìn)行分詞，獲取分詞后每個(gè)詞匯的詞向量；

根據(jù)每一條樣本信息中每個(gè)詞匯的詞向量獲取對(duì)應(yīng)的樣本信息向量。

3.如權(quán)利要求1所述的方法，其中，所述其中兩條樣本信息向量之間的文本相似度符合預(yù)設(shè)條件包括：

所述兩條樣本信息向量之間的文本相似度大于預(yù)設(shè)閾值。

4.如權(quán)利要求1所述的方法，其中，所述根據(jù)所述第一信息集合和所述第二信息集合的內(nèi)容獲取所述特征詞匯表包括：

獲取所述第一信息集合中的樣本信息所包含的所有詞匯的總詞匯表；

針對(duì)所述總詞匯表中的每個(gè)詞匯，計(jì)算對(duì)應(yīng)所述第一信息集合的卡方統(tǒng)計(jì)量，將所述卡方統(tǒng)計(jì)量符合預(yù)設(shè)條件的詞匯列入所述特征詞匯表。

5.如權(quán)利要求4所述的方法，其中，所述方法還包括：

利用所述第二信息集合中符合預(yù)設(shè)條件的詞匯對(duì)所述特征詞匯表中的詞匯進(jìn)行過濾，得到過濾后的特征詞匯表。

6.如權(quán)利要求1所述的方法，其中，所述將所述目標(biāo)信息與所述特征詞匯表進(jìn)行比較，以判斷所述目標(biāo)信息是否為垃圾信息包括：

計(jì)算所述目標(biāo)信息中包含所述特征詞匯表中詞匯的比例；

當(dāng)所述比例超過預(yù)設(shè)閾值時(shí)，判斷所述目標(biāo)信息為垃圾信息。

7.一種垃圾信息判斷裝置，包括：

獲取單元，配置為獲取特征詞匯表，其中所述特征詞匯表通過對(duì)預(yù)先獲取的多條樣本信息之間進(jìn)行文本相似度計(jì)算而得到；

接收單元，配置為接收待判斷的目標(biāo)信息；

判斷單元，配置為將所述目標(biāo)信息與所述特征詞匯表進(jìn)行比較，以判斷所述目標(biāo)信息是否為垃圾信息；

其中，所述獲取單元獲取多條樣本信息中每條樣本信息的樣本信息向量；

對(duì)多條樣本信息向量計(jì)算兩兩之間的文本相似度，當(dāng)存在其中兩條樣本信息向量之間的文本相似度符合預(yù)設(shè)條件時(shí)，將所述兩條樣本信息向量分別對(duì)應(yīng)的兩條樣本信息共同列入第一信息集合；

將沒有列入第一信息集合的樣本信息列入第二信息集合；

根據(jù)所述第一信息集合和所述第二信息集合的內(nèi)容獲取所述特征詞匯表。

8.如權(quán)利要求7所述的裝置，其中，

所述獲取單元對(duì)所述多條樣本信息中的每一條樣本信息進(jìn)行分詞，獲取分詞后每個(gè)詞匯的詞向量；

根據(jù)每一條樣本信息中每個(gè)詞匯的詞向量獲取對(duì)應(yīng)的樣本信息向量。

9.如權(quán)利要求7所述的裝置，其中，所述其中兩條樣本信息向量之間的文本相似度符合預(yù)設(shè)條件包括：

所述兩條樣本信息向量之間的文本相似度大于預(yù)設(shè)閾值。

10.如權(quán)利要求7所述的裝置，其中，

所述獲取單元獲取所述第一信息集合中的樣本信息所包含的所有詞匯的總詞匯表；

針對(duì)所述總詞匯表中的每個(gè)詞匯，計(jì)算對(duì)應(yīng)所述第一信息集合的卡方統(tǒng)計(jì)量，將所述卡方統(tǒng)計(jì)量符合預(yù)設(shè)條件的詞匯列入所述特征詞匯表。