[發明專利]一種一步式采集互聯網數據的方法

在審

• 申請號: 202110685635.X
• 申請日: 2021-06-21
• 公開（公告）號: CN113407803A
• 公開（公告）日: 2021-09-17
• 發明（設計）人: 邢榮;宋設
• 申請（專利權）人: 浪潮卓數大數據產業發展有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/9538
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 郗艷榮

本發明特別涉及一種一步式采集互聯網數據的方法。該一步式采集互聯網數據的方法，先獲取請求參數，并對用于網站檢索的請求參數進行自定義設定；然后通過自定義的請求參數對網站發送訪問請求，得到與自定義的數據顯示參數相符的響應信息；對網站數據進行一次性采集，獲取全量數據；最后將得到檢索結果信息做結構化處理，保存到數據庫達到數據采集的目的。該一步式采集互聯網數據的方法，通過指定與數據顯示相關的請求參數，從而一次性訪問獲取網站的全量目標數據，采集用時更短，不占用采集資源節點，從而避免了數據漏采，能夠快速高效地取得數據，簡化或省略了爬蟲程序的開發，也為后續數據存儲和數據分析提供了便利。

技術領域

本發明涉及信息檢索技術領域，特別涉及一種一步式采集互聯網數據的方法。

背景技術

現代社會是一個高速發展的社會，隨著計算機和信息技術的迅猛發展和普及應用，行業應用系統的規模迅速擴大，行業應用所產生的數據呈爆炸性增長，人們愈加認識到數據的重要性，數據這一概念已經引起了各行業從業者與用戶的廣泛關注。對于海量數據的挖掘和運用，預示著新一波生產率增長和消費者盈余浪潮的到來。而隨著政府信息公開與企業數字化發展，大量有價值的數據都可以通過對互聯網數據的采集來獲取。

信息檢索(Information Retrieval)，通常指文本信息檢索，包括信息的存儲、組織、表現、查詢、存取等各個方面，其核心為文本信息的索引和檢索。從歷史上看，信息檢索經歷了手工檢索、計算機檢索到目前網絡化、智能化檢索等多個發展階段。信息檢索的對象從相對封閉、穩定一致、由獨立數據庫集中管理的信息內容擴展到開放、動態、更新快、分布廣泛、管理松散的Web內容；信息檢索的用戶也由原來的情報專業人員擴展到包括商務人員、管理人員、教師學生、各專業人士等在內的普通大眾，他們對信息檢索從結果到方式提出了更高、更多樣化的要求。適應網絡化、智能化以及個性化的需要是目前信息檢索技術發展的新趨勢。

近年來隨著計算機網絡的全面普及，多媒體信息檢索發展很快。傳統的數據采集技術一般不涉及對網站訪問請求的人為變更，即不會根據采集需求人為修改請求訪問參數，通常都是根據網站頁面的默認顯示形式去遍歷網站進而獲取全量目標數據。

由于目前各大網站的內容不斷擴展、數據總量不斷增大，按網站默認顯示形式發送請求獲取響應數據時所需的發送次數大幅增長。若數據采集程序仍按照網站既定的顯示參數提取全量目標數據，則所需的采集用時、資源節點、處理加工等數據采集成本必定隨之大幅上升。

基于上述情況，本發明提出了一種一步式采集互聯網數據的方法。

發明內容

本發明為了彌補現有技術的缺陷，提供了一種簡單高效的一步式采集互聯網數據的方法。

本發明是通過如下技術方案實現的：

一種一步式采集互聯網數據的方法，其特征在于：包括以下步驟：

步驟1：獲取請求參數；

步驟2：對用于網站檢索的請求參數進行自定義設定；

步驟3：通過自定義的請求參數對網站發送訪問請求，得到與自定義的數據顯示參數相符的響應信息；

步驟4：對網站數據進行一次性采集，獲取全量數據；

步驟5：將得到檢索結果信息做結構化處理，保存到數據庫達到數據采集的目的。

所述步驟1中，通過瀏覽器開發者工具或數據抓包工具，對向目標網站發送的檢索請求或翻頁請求進行攔截，獲取包括每頁顯示上限和當前頁數在內的各個請求參數名稱。

所述步驟2中，自定義的請求參數是指與需要采集的網站數據的顯示形式有相關含義的數值，包括頁數以及每頁顯示上限數。

所述步驟2中，對爬蟲程序訪問請求參數的數據顯示上限和頁數加以調整，設定大于或等于網站顯示全部條數的顯示上限數值，同時將頁數設為1。