[發明專利]網頁數據處理方法、裝置、計算機設備及存儲介質

有效

• 申請號: 201711487763.3
• 申請日: 2017-12-30
• 公開（公告）號: CN108062413B
• 公開（公告）日: 2019-05-28
• 發明（設計）人: 張澍滋
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/953
• 分類號: G06F16/953;G06F16/955;G06F21/57
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 易皎鶴

1.一種網頁數據處理方法，其特征在于，所述方法包括：

獲取第一網頁的第一網頁數據，通過所述第一網頁數據在數據查詢庫中與預存儲的待匹配數據進行匹配，當匹配成功時，則獲取到所述待匹配數據對應的第二網頁地址；

從所述第二網頁地址中獲取所述第二網頁對應的網站的域名，提取所述第二網頁對應的網站的域名的后綴；

當所述第二網頁對應的網站的域名的后綴與預存的標準域名的后綴相同時，則獲取與所述標準域名對應的網絡地址作為所述第二網頁的網絡地址，所述網絡地址為通信標識；

根據所述第二網頁的網絡地址對所述第二網頁進行訪問，并爬取所述第二網頁上的第二網頁數據；

將所述第一網頁數據與所述第二網頁數據分別輸出至對應的類別。

2.根據權利要求1所述的方法，其特征在于，所述根據所述第二網頁的網絡地址對所述第二網頁進行訪問，并爬取所述第二網頁上的第二網頁數據的步驟，包括：

當所述第二網頁攜帶有限制訪問標識時，則向代理服務器發送爬取所述第二網頁上的網頁數據的爬取指令；

接收所述代理服務器返回的身份驗證請求，并根據所述身份驗證請求向所述代理服務器發送對應的身份標識；

當所述身份標識經所述代理服務器驗證成功時，則接收所述代理服務器返回的從所述第二網頁上爬取到的網頁數據。

3.根據權利要求1所述的方法，其特征在于，所述根據所述第二網頁的網絡地址對所述網頁進行訪問，并爬取所述第二網頁上的第二網頁數據的步驟，包括：

當所述第二網頁未攜帶有限制訪問標識時，則根據所述第二網頁地址，獲取所述第二網頁對應的爬取邏輯與通信協議；

根據所述第二網頁對應的通信協議訪問所述第二網頁并遍歷所述第二網頁的第二網頁數據；

當遍歷到與所述爬取邏輯對應的第二網頁數據時，則爬取與所述爬取邏輯對應的第二網頁數據。

4.根據權利要求1所述的方法，其特征在于，所述將所述第一網頁數據與所述第二網頁數據分別輸出至對應的類別的步驟，包括：

將所述第一網頁數據攜帶的網頁標識以及所述第二網頁數據攜帶的網頁標識分別與已存取的網頁標識進行匹配；

當所述第一網頁數據攜帶的網頁標識以及所述第二網頁數據攜帶的網頁標識其中至少一個與已存儲的網頁標識不匹配時，則提取不匹配的網頁數據的關鍵字；

將不匹配的網頁數據輸出至與所述關鍵字對應的存儲類別下。

5.根據權利要求4所述的方法，其特征在于，所述方法還包括：

獲取預設的接收所述第一網頁數據與所述第二網頁數據的郵箱地址；

提取所述郵箱地址對應的部門標識，并獲取與所述部門標識對應的存儲類別；

將所獲取的所述存儲類別下的第一網頁數據與第二網頁數據發送至所述郵箱地址對應的郵箱中。

6.根據權利要求1至5任一項所述的方法，其特征在于，所述根據所述第二網頁的網絡地址對所述網頁進行訪問，并爬取所述第二網頁上的第二網頁數據的步驟，包括：

預設爬取所述第二網頁的第二網頁數據的爬取時間；

當到達所述爬取時間時，則從網絡地址庫中隨機選取可用的爬取網絡地址；

通過所述爬取網絡地址訪問所述第二網頁，并爬取所述第二網頁上的第二網頁數據。

7.根據權利要求1至5任一項所述的方法，其特征在于，所述根據所述第二網頁的網絡地址對所述第二網頁進行訪問，并爬取所述第二網頁上的第二網頁數據的步驟，包括：

根據所述第二網頁的網絡地址訪問所述第二網頁并查詢所述第二網頁是否渲染完成；

當所述第二網頁未渲染完成時，則根據所述第二網頁地址獲取所述第二網頁對應的渲染邏輯；

根據所述第二網頁對應的渲染邏輯對所述第二網頁進行渲染；

爬取渲染完成的所述第二網頁上的第二網頁數據。