[發明專利]一種信息獲取方法、裝置及計算設備

在審

• 申請號: 202111472445.6
• 申請日: 2021-12-06
• 公開（公告）號: CN113886661A
• 公開（公告）日: 2022-01-04
• 發明（設計）人: 馬海東
• 申請（專利權）人: 北京并行科技股份有限公司
• 主分類號: G06F16/903
• 分類號: G06F16/903;G06F16/955;G06F16/958
• 代理公司: 北京思睿峰知識產權代理有限公司 11396
• 代理人: 謝建云;趙愛軍

本發明公開了一種信息獲取方法、裝置及計算設備，該方法包括：獲取用戶輸入的網址信息；對網址信息進行處理，以獲取網址信息關聯的一個或多個個人主頁鏈接地址；對各個人主頁鏈接地址關聯的個人主頁進行目標數據提取；根據網址信息關聯的全部個人主頁鏈接地址對應的目標數據，生成信息文件并保存。

技術領域

本發明涉及計算機網絡領域，特別涉及一種信息獲取方法、裝置及計算設備。

背景技術

隨著信息技術的發展和網絡應用的拓展，越來越多的信息在網絡上進行提供和展示，如何快速又準確地獲取自己需要的信息成為了新的關注點。網絡爬蟲是目前比較流行的批量數據及信息獲取方式，通過使用網絡爬蟲，很快就可以獲取目標網站上的數據。常見的網絡爬蟲應用領域包括搜索引擎、電商網站的商品、股票價格走勢信息、新聞領域、圖像視頻類文件的獲取等。

常規的網絡爬蟲一般是通用型的，在進行數據爬取時，往往需要設置目標網頁的內容路徑標簽、翻頁動作、數據爬取路徑等，且由于網頁的數據沒有統一的格式，因此每換一個網址就需要重新對爬取數據的路徑和流程進行設置，花費了較大時間成本，降低了數據獲取效率。而且，若用戶不具備一定的HTML（Hyper Text Markup Language，超文本標記語言）網頁基礎，或者不熟悉網絡爬蟲，則無法快速掌握具體的使用方法。

此外，上述網絡爬蟲采用的方式是獲取指定路徑標簽內的文本內容，對于沒有固定標簽路徑的手機號碼、電子郵箱這類數據，難以對其精確抓取，獲取效率很低。

因此，需要一種新的信息獲取方法來優化上述處理過程。

發明內容

為此，本發明提供一種信息獲取方案，以力圖解決或者至少緩解上面存在的問題。

根據本發明的一個方面，提供一種信息獲取方法，該方法包括如下步驟：首先，獲取用戶輸入的網址信息；對網址信息進行處理，以獲取網址信息關聯的一個或多個個人主頁鏈接地址；對各個人主頁鏈接地址關聯的個人主頁進行目標數據提取；根據網址信息關聯的全部個人主頁鏈接地址對應的目標數據，生成信息文件并保存。

可選地，在根據本發明的信息獲取方法中，網址信息至少包括待處理的網絡地址，對網址信息進行處理，以獲取網址信息關聯的一個或多個個人主頁鏈接地址的步驟，包括：對網絡地址進行解析，以獲取網絡地址關聯的全部網頁鏈接地址；從網絡地址關聯的全部網頁鏈接地址中，篩選出網址信息關聯的一個或多個個人主頁鏈接地址。

可選地，在根據本發明的信息獲取方法中，從網絡地址關聯的全部網頁鏈接地址中，篩選出網址信息關聯的一個或多個個人主頁鏈接地址的步驟，包括：若網址信息還包括關鍵字信息，則根據關鍵字信息，對網絡地址關聯的全部網頁鏈接地址進行識別，以篩選出與關鍵詞信息匹配的網頁鏈接地址作為個人主頁鏈接地址。

可選地，在根據本發明的信息獲取方法中，從網絡地址關聯的全部網頁鏈接地址中，篩選出網址信息關聯的一個或多個個人主頁鏈接地址的步驟，包括：若網址信息不包括關鍵字信息，則根據預設的關鍵字，對網絡地址關聯的全部網頁鏈接地址進行識別，以篩選出與預設的關鍵字匹配的網頁鏈接地址作為個人主頁鏈接地址。

可選地，在根據本發明的信息獲取方法中，預設的關鍵字包括szdw、info、id、js、page、facu、principal和detail中至少一個。

可選地，在根據本發明的信息獲取方法中，還包括：生成第一過程日志，第一過程日志包括一個或多個個人主頁鏈接地址的獲取過程信息。

可選地，在根據本發明的信息獲取方法中，對各個人主頁鏈接地址關聯的個人主頁進行目標數據提取的步驟，包括：根據預設的匹配規則，對各個人主頁鏈接地址對應的超文本標記語言文本進行數據解析和識別，以提取出與匹配規則相對應的目標數據，匹配規則包括關鍵字匹配規則和正則表達式匹配規則。