[發明專利]一種網絡資源數據采集系統及其實現方法

有效

• 申請號: 201611178759.4
• 申請日: 2016-12-19
• 公開（公告）號: CN106603292B
• 公開（公告）日: 2019-12-10
• 發明（設計）人: 陳德淼;季統凱
• 申請（專利權）人: 國云科技股份有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L29/08;G06F16/953;G06F16/958
• 代理公司: 44332 廣東莞信律師事務所
• 代理人: 余倫

1.一種網絡資源數據采集系統，其特征在于，所述的系統包含資源配置管理模塊、任務配置管理模塊和數據管理模塊及監控管理模塊；

所述的資源配置管理模塊包含資源基礎信息維護模塊、資源配置信息維護模塊、資源規則測試模塊和資源信息發布/撤銷模塊；所述的資源基礎信息維護模塊用于保存和修改資源基礎信息表，按輸入的資源數據表名稱自動生成資源采集信息表；所述的資源配置信息維護模塊用于對資源信息采集規則進行配置，修改資源基礎信息表；所述的資源規則測試模塊用于對配置的采集規則進行測試；所述的資源信息發布/撤銷模塊用于發布和撤銷資源信息，發布資源信息后自動生成資源監控信息表；

所述的任務配置管理模塊包含任務基礎信息維護模塊和任務的啟動、停止和重啟模塊；所述的任務基礎信息維護模塊用于保存和修改任務基礎信息表；所述的任務的啟動、停止和重啟模塊分別用于啟動任務、停止任務和重新啟動任務，啟動任務后自動生成任務監控信息表；

所述的數據管理模塊包含數據瀏覽和統一搜索；所述的數據瀏覽用于采集數據的統一展示，顯示某個資源的采集信息，包含資源名稱、采集數據量和數據瀏覽功能；所述的統一搜索用于對采集內容的關鍵字進行檢索，按關鍵字搜索采集內容結果集信息；

所述的監控管理模塊包含資源監控管理和任務監控管理；所述的資源監控管理用于對資源信息進行監控，包含資源名稱、監控時間、監控URL、監控值、監控結果信息；所述的任務監控管理用于對任務運行進行監控，包含任務名稱、開始時間、結束時間、采集網頁數信息；

所述的資源基礎信息表包含：資源編號，資源名稱，數據表名稱，關鍵字，總標記，類別，原網頁名稱，原網頁URL，標題標記，鏈接標記，日期標記，內容標題標記，時間標記，內容標記，作者標記，自定義標記，來源標記，備注，數據記錄，狀態信息；

所述的任務基礎信息表包含：任務編號，任務名稱，資源編號，開始時間，結束時間，是否循環，任務周期，下次啟動時間，狀態信息；

所述的資源采集信息表，包含：資源采集編號，任務編號，類型，標題，時間，作者，來源，內容標題，采集URL，上層URL，內容，關鍵詞，采集時間，狀態，備注，資源編號；

所述的資源監控信息表，包含：資源監控編號，資源編號，監控URL，監控值，監控時間，狀態，備注；

所述的任務監控信息表，包含：任務監控編號，任務編號，開始時間，結束時間，狀態，采集網頁數量。

2.一種利用權利要求1所述的網絡資源數據采集系統實現的方法，其特征在于，所述的方法包括：

步驟1：在系統數據庫中添加資源基礎信息，配置采集規則，發布資源信息；

步驟2：添加任務信息，選擇資源名稱，設定任務運行周期及任務開始運行時間，啟動任務運行即可；

所述的實現方法包括資源配置管理維護、任務配置管理維護和數據查詢管理及監控管理；

所述的資源配置管理維護包括如下步驟：

第一步，添加資源基礎信息表，包含資源名稱和數據表名稱信息；

第二步，配置資源采集信息，包含采集網址、采集規則和采集內容信息；

第三步，測試網址采集內容；

第四步，提交資源信息，自動生成資源采集信息表；

第五步，發布資源信息；

所述的任務配置管理維護包括如下步驟：

第一步，添加任務基礎信息表，包含任務名稱、資源名稱、是否循環、任務周期、開始時間信息；

第二步，啟動任務運行；

第三步，在任務設定的開始運行時間進行數據采集；

所述的數據查詢管理包括如下步驟：

第一步，數據導航，展示所有資源的信息采集數量；

第二步，數據瀏覽，瀏覽每個資源的詳細采集數據；

第三步，統一搜索，輸入檢索信息關鍵字，點查詢，顯示信息采集結果集信息；

所述的監控管理包括如下步驟：

第一步，資源監控，對資源信息進行監控，展示資源的監控時間、監控URL、監控值和監控結果；

第二步，任務監控，對任務信息進行監控，展示任務的開始時間，結束時間，采集網頁數量。

3.根據權利要求2所述的方法，其特征在于，網絡資源數據采集的詳細流程為：

第一步，添加資源基礎信息表，包含資源名稱和數據表名稱信息；

第二步，配置資源采集信息，包含采集網址、采集規則和采集內容信息；

第三步，測試網址采集內容；

第四步，提交資源信息，自動生成資源采集信息表；

第五步，發布資源信息；

第六步，添加任務基礎信息表，包含任務名稱、資源名稱、是否循環、任務周期、開始時間信息；

第七步，啟動任務運行；

第八步，數據采集；

第九步，數據導航，展示所有資源的信息采集數量；

第十步，數據瀏覽，瀏覽每個資源的詳細采集數據；

第十一步，統一搜索，輸入檢索信息關鍵字，點查詢，顯示信息采集結果集信息；

第十二步，資源監控，對資源信息進行監控，展示資源的監控時間，監控URL，監控值和監控結果；

第十三步，任務監控，對任務信息進行監控，展示任務的開始時間，結束時間，采集網頁數量。