[發(fā)明專利]一種基于互聯(lián)網的數據提取方法

在審

• 申請?zhí)枺?/td>: 201510880796.9
• 申請日: 2015-12-04
• 公開（公告）號: CN106844362A
• 公開（公告）日: 2017-06-13
• 發(fā)明（設計）人: 林慧吉
• 申請（專利權）人: 上海沃月信息科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發(fā)明涉及一種信息處理方法，特別涉及一種基于互聯(lián)網的數據提取方法。

背景技術

當前是信息化時代，互聯(lián)網上的數據在呈爆炸式的速度增長，一個搜索引警不可能覆蓋所有的數據，但各大搜索引警的數據重復性很高，如何從而互聯(lián)網中提取全面且準確的數據是一個難題。

發(fā)明內容

本發(fā)明要解決的技術問題是：提供一種準確性高的基于互聯(lián)網的數據提取方法。

為了解決上述技術問題，本發(fā)明包括如下步驟：(1)設置關鍵詞；(2)選擇搜索引擎；(3)在各搜索引擎檢索設置的關鍵詞，獲取檢索數據，建立第一數據庫；(4)建立重復數據處理模塊，利用該模塊比較第一數據庫的數據，選取第一數據庫中第一條數據，將第一條數據與第一數據庫中其它數據相比較，刪除與第一條數據相同的數據，依該方法遍歷第一數據庫中所有數據；獲得第二數據庫；(5)建立數據分類模塊，將第二數據庫的數據分成多個小類，每個小類數據建立一個第三數據庫。

為了使用方便，所述的步驟(5)第二數庫的分類是依據數據在互聯(lián)網上公開的時間分類。

為了使用方便，所述的步驟(5)第二數庫的分類是依據數據在與關鍵詞的關聯(lián)程度分類。

本發(fā)明的有益效果是：本發(fā)明利用多個搜索引警檢索，檢索后通過重復數據處理模塊和數據分類模塊處理，所提取的數據能夠準確的貼近關鍵詞，數據即全面又不會重復。

附圖說明

圖1是本發(fā)明的流程圖；

具體實施方式

如圖1所示的基于互聯(lián)網的數據提取方法，包括如下步驟：(1)設置關鍵詞，可以根據需要設置，如挖掘機等；(2)選擇搜索引擎；(3)在各搜索引擎檢索設置的關鍵詞，獲取檢索數據，建立第一數據庫；(4)建立重復數據處理模塊，利用該模塊比較第一數據庫的數據，選取第一數據庫中第一條數據，將第一條數據與第一數據庫中其它數據相比較，刪除與第一條數據相同的數據，依該方法遍歷第一數據庫中所有數據；獲得第二數據庫；(5)建立數據分類模塊，將第二數據庫的數據分成多個小類，每個小類數據建立一個第三數據庫。所述的步驟(5)第二數庫的分類可以是依據數據在互聯(lián)網上公開的時間分類。步驟(5)第二數庫的分類也可以是依據數據在與關鍵詞的關聯(lián)程度分類。