[發明專利]一種數據處理方法及服務器

有效

• 申請號: 201611196380.6
• 申請日: 2016-12-22
• 公開（公告）號: CN106649720B
• 公開（公告）日: 2020-10-13
• 發明（設計）人: 竇志成;亞振釗
• 申請（專利權）人: 北京一覽群智數據科技有限責任公司
• 主分類號: G06F16/958
• 分類號: G06F16/958;G06F16/25;G06F16/2457
• 代理公司: 北京中創陽光知識產權代理有限責任公司 11003
• 代理人: 尹振啟

1.一種數據處理方法，其特征在于，所述方法包括：

從數據庫中分別讀取第一類型數據和第二類型數據；其中，所述第一類型數據存儲在數據庫中的第一存儲區域，所述第二類型數據存儲在數據庫中的第二存儲區域；所述第一類型數據為鏈接類型數據，所述第二類型數據為頁面相關的數據；

將所述第一類型數據插入第一隊列中，將所述第二類型數據插入第二隊列中；

當對所述第一隊列進行下載處理時，從所述第一隊列中獲取第一類型數據，依據鏈接型數據下載得到頁面相關的數據，將所述下載得到的第二類型數據存入所述數據庫；

當對所述第二隊列進行抽取處理時，從所述第二隊列中獲取第二類型數據，對所述第二類型數據進行抽取處理得到對象數據，將所述對象數據存入所述數據庫；

所述對第二類型數據進行抽取處理得到的對象數據為結構化數據和/或第一類型數據；

所述第一隊列的下載處理和所述第二隊列的抽取處理是循環執行的，直至所述數據庫中的第一類型數據和第二類型數據被處理完成為止。

2.根據權利要求1所述的數據處理方法，其特征在于，所述第一類型數據和所述第二類型數據分區域存儲在所述數據庫；

所述從數據庫中分別讀取第一類型數據和第二類型數據，包括：

從所述第一存儲區域中讀取第一類型數據，從所述第二存儲區域讀取第二類型數據。

3.一種服務器，其特征在于，所述服務器包括：

調度模塊，用于從數據庫中分別讀取第一類型數據和第二類型數據；將所述第一類型數據插入第一隊列中，將所述第二類型數據插入第二隊列中；其中，所述第一類型數據存儲在數據庫中的第一存儲區域，所述第二類型數據存儲在數據庫中的第二存儲區域；所述第一類型數據為鏈接類型數據，所述第二類型數據為頁面相關的數據；

隊列模塊，用于通過第一隊列存儲第一類型數據，通過第二隊列存儲第二類型數據；

下載模塊，用于對所述第一隊列進行下載處理時，從所述第一隊列中獲取第一類型數據，依據鏈接型數據下載得到頁面相關的數據；將所述下載得到的第二類型數據存入所述數據庫；

抽取模塊，用于對所述第二隊列進行抽取處理時，從所述第二隊列中獲取第二類型數據，對所述第二類型數據進行解析，抽取得到對象數據；將所述對象存入所述數據庫；

所述抽取模塊，具體用于對所述第二類型數據進行解析，抽取得到結構化數據和/或鏈接類型數據，其中，所述鏈接類型數據是指所述第一類型數據；

所述服務器中的各個模塊循環執行所述下載處理和所述抽取處理，直至所述數據庫中的第一類型數據和第二類型數據被處理完成為止。

4.根據權利要求3所述的服務器，其特征在于，所述調度模塊，具體用于從數據庫中讀取鏈接類型數據。

5.根據權利要求3所述的服務器，其特征在于，所述數據庫對所述第一類型數據和所述第二類型數據進行分區域存儲；

所述調度模塊，具體用于從所述第一存儲區域中讀取第一類型數據，從所述第二存儲區域讀取第二類型數據。