[發明專利]一種基于多語言的數據挖掘方法

在審

• 申請號: 201711461988.1
• 申請日: 2017-12-28
• 公開（公告）號: CN108038245A
• 公開（公告）日: 2018-05-15
• 發明（設計）人: 王曉東
• 申請（專利權）人: 中譯語通科技（青島）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提供一種基于多語言的數據挖掘方法，包括步驟：登入載有數據資料的網站；識別網站語言；采集網站數據資料；利用分類器對數據資料進行分類；將分類后的數據按照類別不同分別存放。本發明能夠自動識別語種，然后進行對應的采集，將采集的內容按照語種的不同進行存入庫中，有效的解決了網站數據源發現越來越困難，對網站源的地域判斷效率低下，對網站源的語言判斷準確性低，不能快速、高效的識別廣告、電商、問答、視頻、音頻等非新聞類數據，對數據源的管理沒有統一的修改，保存機制等問題。

技術領域

本發明涉及用于處理跨域的大數據網站的挖掘技術。

背景技術

截止到2016年9月，全球互聯網網站數量已超過11.6億，并且這個數字目前還在不斷增加，另外互聯網網民的數量也將突破40億大關。2016年我們每天在互聯網產生至少4EB的數據。針對如此龐大的數據資源，通過人工方式獲取已不能滿足需求。

發明內容

本發明所要解決的技術問題是提供一種基于多語言的數據挖掘方法，能夠提高數據識別效率和準確性，解決背景技術中的問題。

本發明解決上述技術問題所采用的技術方案是：一種基于多語言的數據挖掘方法，包括以下步驟：

（1）登入載有數據資料的網站；

（2）識別網站語言；

（3）采集網站數據資料；

（4）利用分類器對數據資料進行分類；

（5）將分類后的數據按照類別不同分別存放。

進一步地，上述步驟中使用到的分類器，需要預先經過訓練，訓練的步驟具體包括：收集數據，將數據按照一定的比例分為訓練集和測試集，利用訓練集對分類器進行分類，然后再用測試集對訓練結果進行評估，當分類誤差和精度達到一定閾值時，判斷為訓練結束。

進一步地，采集網站數據資料具體包括以下步驟：

（3.1）識別數據源；

（3.2）判斷該數據源是否已被采集，如果已被采集，則直接存入已采集數據庫，如果未被采集，進入下一步；

（3.3）利用Scrapy框架對數據進行采集，并將采集到的數據存入已采集數據庫；

（3.4）根據Scrapy框架中的Response數據判斷該數據來源的網站是否屬于目標類型網站。

本發明的有益效果是：本發明能夠自動識別語種，然后進行對應的采集，將采集的內容按照語種的不同進行存入庫中，有效的解決了網站數據源發現越來越困難，對網站源的地域判斷效率低下，對網站源的語言判斷準確性低，不能快速、高效的識別廣告、電商、問答、視頻、音頻等非新聞類數據，對數據源的管理沒有統一的修改，保存機制等問題。本方法的優勢在于不使用人工對網站語種以及網站注冊地的判斷，而是將這些操作交給機器來操作，極大的降低了人力的資源而且還提高了對網站源判斷的精準度和效率。同時本方法會對不同語言進行分類，這樣完成了數據的跨語言問題， 還解決了人工對語言進行分類的效率低下問題。

附圖說明

圖1是本發明的整體流程圖。

圖2是分類器的訓練方法示意圖。

具體實施方式

以下結合附圖對本發明的具體實施方案做進一步詳細說明，應當指出的是，實施例只是對方案的具體闡述，并不是對本發明的限定。

如圖1所示，本發明的基于多語言的數據挖掘方法，包括以下步驟：

（1）登入載有數據資料的網站；

（2）利用語言識別模塊識別網站語言；