[發明專利]互聯網數據分析系統

在審

• 申請號: 201310172687.2
• 申請日: 2013-05-10
• 公開（公告）號: CN104142960A
• 公開（公告）日: 2014-11-12
• 發明（設計）人: 顧青;倪慶洋;謝超;梁佐泉;馮四風;梁艷敏;張士鵬;田文晉;賈偉峰;田肖
• 申請（專利權）人: 上海普華誠信信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 上海浦一知識產權代理有限公司 31211
• 代理人: 殷曉雪

1.一種互聯網數據分析系統，其特征是，包括：

數據預處理模塊，從互聯網的網頁信息中提取其主要內容，過濾而得到每個網頁對應的文本；對獲取的文本首先由分詞器得到多個分詞，再經過特征值降維僅保留突出該文本特征的分詞；

數據分析模塊，根據分析要求，從分類算法、聚類算法、關聯規則算法、特殊規則算法這四類算法中選擇相應的一類對多類算法，每類算法中采用一種或多種算法，對所述數據預處理模塊輸出的每個網頁所對應的經過降維后的分詞各自獨立地進行處理，并存儲分析結果。

2.根據權利要求1所述的互聯網數據分析系統，其特征是，所述分詞器包括ansj分詞器、mmseg4j分詞器、lucene分詞器中的一種或多種。

3.根據權利要求1所述的互聯網數據分析系統，其特征是，所述特征值降維采用tf-idf算法、權重計算的一種或多種。

4.根據權利要求1所述的互聯網數據分析系統，其特征是，所述分類算法包括svm算法、貝葉斯算法、隨機森林算法。

5.根據權利要求1所述的互聯網數據分析系統，其特征是，所述聚類算法包括k-means算法。

6.根據權利要求1所述的互聯網數據分析系統，其特征是，當所述數據分析模塊采用多種算法處理時，當分析結果不一致，則根據各種算法的權重判斷分析結果的權重，并采納權重較大的分析結果。