[發(fā)明專利]基于移動互聯(lián)網(wǎng)有害信息的數(shù)據(jù)挖掘系統(tǒng)及其方法

無效

• 申請?zhí)枺?/td>: 201310061132.0
• 申請日: 2013-02-27
• 公開（公告）號: CN103116647A
• 公開（公告）日: 2013-05-22
• 發(fā)明（設(shè)計）人: 陳翟翟;舒張磊;黃峰
• 申請（專利權(quán)）人: 武漢虹旭信息技術(shù)有限責(zé)任公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 武漢宇晨專利事務(wù)所 42001
• 代理人: 黃瑞棠

1.一種基于移動互聯(lián)網(wǎng)有害信息的數(shù)據(jù)挖掘系統(tǒng)，其特征在于：

本系統(tǒng)依托于運營商核心網(wǎng)（000），設(shè)置有數(shù)據(jù)采集單元（100）、數(shù)據(jù)還原單元（200）、數(shù)據(jù)存儲單元（300）、有害信息數(shù)據(jù)挖掘單元（400）、有害信息存儲單元（500）和用戶展現(xiàn)單元（600）；

運營商核心網(wǎng)（000）、數(shù)據(jù)采集單元（100）、數(shù)據(jù)還原單元（200）、數(shù)據(jù)存儲單元（300）依次連接，實現(xiàn)對可讀信息的還原；

有害信息數(shù)據(jù)挖掘單元（400）和數(shù)據(jù)存儲單元（300）連接，實現(xiàn)對數(shù)據(jù)存儲單元（300）里的數(shù)據(jù)進行直接挖掘；

數(shù)據(jù)存儲單元（300）、有害信息存儲單元（500）和用戶展現(xiàn)單元（600）依次連接，實現(xiàn)有害信息的集中展現(xiàn)。

2.按權(quán)利要求1所述的數(shù)據(jù)挖掘系統(tǒng)，其特征在于所述的有害信息數(shù)據(jù)挖掘單元（400）是：

分詞模塊（402）連接待過濾數(shù)據(jù)模塊（401），將生成的數(shù)據(jù)放入數(shù)據(jù)進行格式轉(zhuǎn)換和處理模塊（407）；

分詞模塊（402）、MI模塊（404）、IG模塊（405）和PCA模塊（406）共同連接到分好類的有害信息語料庫模塊（403），將生成的數(shù)據(jù)放入特征向量模塊（408）；

分類器模塊（409）連接到數(shù)據(jù)進行格式轉(zhuǎn)換和處理模塊（407），獲取預(yù)處理數(shù)據(jù)；

訓(xùn)練樣本特征庫模塊（410）連接數(shù)據(jù)特征向量模塊（408），將獲取到的數(shù)據(jù)放入到分類器模塊（409），最后得到的結(jié)果導(dǎo)入到通知展現(xiàn)模塊（411）；

待過濾數(shù)據(jù)模塊（401）、分詞模塊（402）、MI模塊（404）、IG模塊（405）、PCA模塊（406）、數(shù)據(jù)進行格式轉(zhuǎn)換和處理模塊（407）、特征向量模塊（408）、分類器模塊（409）、訓(xùn)練樣本特征庫模塊（410）和通知展現(xiàn)模塊（411）均為常用模塊；

所述的分好類的有害信息語料庫模塊（403）是一種人工參與、將有害信息進行分類后得到的文本集合；發(fā)現(xiàn)是有害信息，歸入到有害信息庫中。

3.基于權(quán)利要求1所述的數(shù)據(jù)挖掘系統(tǒng)的有害信息數(shù)據(jù)挖掘方法，其特征在于：

①從運營商核心網(wǎng)采集數(shù)據(jù)后經(jīng)過還原、存儲得到用戶的全量信息；

②將移動互聯(lián)網(wǎng)上的有害信息中的某一類文本，進行人工選取若干條作為正樣本，再選取若干條其它無害信息的文本作為負樣本；

③對已知的有害信息進行建模，再通過數(shù)據(jù)挖掘方法對待定信息進行有害性判斷。

4.按權(quán)利要求3所述有害信息數(shù)據(jù)挖掘方法，其特征在于所述的步驟③：

A、對正、負樣本進行分詞，得到一系列不重復(fù)的詞匯；

B、通過MI、IG和PCA對詞匯進行篩選，選取和有害信息分類相關(guān)性較大的詞匯；

C、通過反文檔詞頻，計算每篇文本在N個詞匯上的一個取值，從而得到一個N維的向量，通過M個各自的向量，構(gòu)建一個N維的數(shù)據(jù)模型；

D、在N維空間的數(shù)據(jù)模型中，使用支持向量機方法在正樣本和負樣本間生成一個N-1維的超平面，使得在超平面一側(cè)的為正樣本，另外一側(cè)的為負樣本；在有一個待判定點在此N維空間中著點的時候，則通過判斷此點和超平面的位置關(guān)系判斷此待測樣本是正樣本還是負樣本。