[發明專利]一種一步式采集互聯網數據的方法

在審

• 申請號: 202110685635.X
• 申請日: 2021-06-21
• 公開（公告）號: CN113407803A
• 公開（公告）日: 2021-09-17
• 發明（設計）人: 邢榮;宋設
• 申請（專利權）人: 浪潮卓數大數據產業發展有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/9538
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 郗艷榮

1.一種一步式采集互聯網數據的方法，其特征在于：包括以下步驟：

步驟1：獲取請求參數；

步驟2：對用于網站檢索的請求參數進行自定義設定；

步驟3：通過自定義的請求參數對網站發送訪問請求，得到與自定義的數據顯示參數相符的響應信息；

步驟4：對網站數據進行一次性采集，獲取全量數據；

步驟5：將得到檢索結果信息做結構化處理，保存到數據庫達到數據采集的目的。

2.根據權利要求1所述的一步式采集互聯網數據的方法，其特征在于：所述步驟1中，通過瀏覽器開發者工具或數據抓包工具，對向目標網站發送的檢索請求或翻頁請求進行攔截，獲取包括每頁顯示上限和當前頁數在內的各個請求參數名稱。

3.根據權利要求1所述的一步式采集互聯網數據的方法，其特征在于：所述步驟2中，自定義的請求參數是指與需要采集的網站數據的顯示形式有相關含義的數值，包括頁數以及每頁顯示上限數。

4.根據權利要求1或3所述的一步式采集互聯網數據的方法，其特征在于：所述步驟2中，對爬蟲程序訪問請求參數的數據顯示上限和頁數加以調整，設定大于或等于網站顯示全部條數的顯示上限數值，同時將頁數設為1。

5.根據權利要求4所述的一步式采集互聯網數據的方法，其特征在于：所述步驟3中，自定義設定顯示上限和頁數的值后，發送1次請求并獲取網站響應數據，與網站對應網頁的顯示內容做對比，觀察兩者是否相符合；若相符，則跳轉到步驟4進行一步式采集，若不相符，則結束訪問，停止數據采集。

6.根據權利要求1所述的一步式采集互聯網數據的方法，其特征在于：所述步驟3中的響應信息即為所需采集的全量目標數據。

7.根據權利要求6所述的一步式采集互聯網數據的方法，其特征在于：對所述步驟4中獲取的全量數據進行數據處理，提取目標字段，即可得到檢索結果信息。

8.根據權利要求7所述的一步式采集互聯網數據的方法，其特征在于：所述步驟5中，將得到檢索結果信息做結構化處理，存入數據庫，完成數據采集。