[發明專利]一種基于多語言的數據挖掘方法

在審

• 申請號: 201711461988.1
• 申請日: 2017-12-28
• 公開（公告）號: CN108038245A
• 公開（公告）日: 2018-05-15
• 發明（設計）人: 王曉東
• 申請（專利權）人: 中譯語通科技（青島）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于多語言的數據挖掘方法，其特征是，包括以下步驟：

（1）登入載有數據資料的網站；

（2）識別網站語言；

（3）采集網站數據資料；

（4）利用分類器對數據資料進行分類；

（5）將分類后的數據按照類別不同分別存放。

2.根據權利要求1所述的一種基于多語言的數據挖掘方法，其特征是，該方法還包括對分類器進行訓練的步驟，具體包括：收集數據，將數據按照一定的比例分為訓練集和測試集，利用訓練集對分類器進行分類，然后再用測試集對訓練結果進行評估，當分類誤差和精度達到一定閾值時，判斷為訓練結束。

3.根據權利要求1所述的一種基于多語言的數據挖掘方法，其特征是，采集網站數據資料具體包括以下步驟：

（3.1）識別數據源；

（3.2）判斷該數據源是否已被采集，如果已被采集，則直接存入已采集數據庫，如果未被采集，進入下一步；

（3.3）利用Scrapy框架對數據進行采集，并將采集到的數據存入已采集數據庫；

（3.4）根據Scrapy框架中的Response數據判斷該數據來源的網站是否屬于目標類型網站。