[發明專利]對獲取的網頁數據進行更新的系統及方法

有效

• 申請號: 201310362978.8
• 申請日: 2013-08-19
• 公開（公告）號: CN104424188B
• 公開（公告）日: 2018-07-20
• 發明（設計）人: 葉亞明
• 申請（專利權）人: 上海攜程商務有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 上海弼興律師事務所 31283
• 代理人: 王衛彬

本發明公開了一種對獲取的網頁數據進行更新的系統及方法，方法包括：S₁、利用網絡爬蟲從網頁中抓取目標數據；S₂、將目標數據打包成目標壓縮文件，并對目標壓縮文件添加MD5標簽；S₃、判斷數據庫服務器中是否存儲網頁數據及壓縮文件，若是，則執行步驟S₄，若否，則執行步驟S₇；S₄、判斷網頁數據的壓縮文件與目標壓縮文件的MD5值是否相同，若是，則執行步驟S₅，若否，則執行步驟S₆；S₅、刪除目標數據及目標壓縮文件；S₆、將網頁數據及壓縮文件分別更新為目標數據及目標壓縮文件；S₇、將目標數據及目標壓縮文件存儲至數據庫服務器中。本發明能夠判斷出網頁數據的更新，實現了對獲取到的網頁數據的及時更新。

技術領域

本發明涉及一種對獲取的網頁數據進行更新的系統及方法，特別是涉及一種能夠及時檢測出獲取的網頁數據的更新并進行相應更新處理的系統以及一種利用所述系統實現的對獲取的網頁數據進行更新的方法。

背景技術

在現階段的網絡技術飛速發展的情況下，大數據時代已經來臨，如何快速有效地拉取網站的數據信息成為亟待解決的問題。現在很多的網站出于信息保護的目的，在對網頁數據進行更新時，一般不會在更新數據中提供時間戳這種標識時間的信息數據。因此，現有技術中在抓取到網頁數據后，基本無法判斷網頁數據的更新時間，一旦無法判斷更新時間，就無法判斷抓取到的網頁數據中哪些是更新過的數據，哪些是沒有更新過的數據，從而導致無法第一時間獲取到網頁中最新更新的數據。

以在線旅游搜索平臺為例，由于無法判斷目標網站（例如各種酒店及訂票網站）的數據更新，導致很難在第一時間獲取到最新更新的機票、酒店及火車票等資源信息，而數據更新的實時性不高的話，會使得用戶在進行相關信息查詢時精準度變低，嚴重影響到用戶的使用體驗。

發明內容

本發明要解決的技術問題是為了克服現有技術中在線旅游搜索平臺等無法及時判斷網站的數據更新，導致很難在第一時間獲取到最新更新的機票、酒店及火車票等資源信息，使得用戶在進行相關信息查詢時精準度變低，嚴重影響到用戶的使用體驗的缺陷，提供一種能夠及時檢測出獲取的網頁數據的更新并進行相應更新處理的系統以及一種利用所述系統實現的對獲取的網頁數據進行更新的方法。

本發明是通過下述技術方案來解決上述技術問題的：

本發明提供了一種對獲取的網頁數據進行更新的方法，其特點在于，所述方法包括以下步驟：

S₁、利用網絡爬蟲從一網頁中抓取帶有所述網頁ID（身份識別號碼）的目標數據；

S₂、將所述目標數據打包成一目標壓縮文件，并對所述目標壓縮文件添加MD5（消息摘要算法第五版，計算機領域使用的一種散列函數）標簽；

S₃、判斷一數據庫服務器中是否存儲帶有所述網頁ID的網頁數據及所述網頁數據的壓縮文件，若是，則執行步驟S₄，若否，則執行步驟S₇；

S₄、判斷所述網頁數據的壓縮文件的MD5值與所述目標壓縮文件的MD5值是否相同，若是，則執行步驟S₅，若否，則執行步驟S₆；

S₅、刪除所述目標數據及所述目標壓縮文件，然后結束流程；

S₆、將所述網頁數據及所述網頁數據的壓縮文件分別更新為所述目標數據及所述目標壓縮文件，然后結束流程；

S₇、將所述目標數據及所述目標壓縮文件存儲至所述數據庫服務器中。