[發明專利]基于多線程異步下載頁面的多服務器同步方法

有效

• 申請號: 201310220524.7
• 申請日: 2013-06-05
• 公開（公告）號: CN104219271B
• 公開（公告）日: 2017-10-27
• 發明（設計）人: 夏乃琛
• 申請（專利權）人: 北京齊爾布萊特科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F9/52
• 代理公司: 北京市盛峰律師事務所11337
• 代理人: 趙建剛

技術領域

本發明屬于通信技術領域，具體涉及一種基于多線程異步下載頁面的多服務器同步方法。

背景技術

隨著IT的快速發展，網站發展迅速，網站訪問量呈指數性增長，由此導致單一服務器無法承擔巨大的訪問量，從而導致網站訪問速度降低。因此，為提高網站的訪問速度，現有技術中，通常采用一個網站架設多臺WEB服務器，并且，在每一臺WEB服務器上運行定時靜態化頁面程序，通過定時靜態化頁面程序，將重點頁面靜態化，然后在每一臺WEB服務器上保存靜態化頁面。

上述方式存在的主要問題為：由于各臺WEB服務器的時間存在不一致性現象，因此，各臺WEB服務器所生成的靜態化頁面存在頁面生成時間偏差，例如：在同一時刻，WEB服務器A的當前設置時間為9:00，而WEB服務器B的當前設置時間為9:08；此時，WEB服務器A靜態化9:00時的頁面A，得到9:00時的頁面A；而WEB服務器B靜態化9:08時的頁面A，得到9:08時的頁面A；而9:00時的頁面A和9:08時的頁面A不相同。因此，在同一時刻，如果用戶A和用戶B同時訪問該網站，則存在用戶A和用戶B訪問到不同頁面的情況，從而降低了用戶的訪問體驗。

發明內容

針對現有技術存在的缺陷，本發明提供一種基于多線程異步下載頁面的多服務器同步方法，在保證用戶訪問網站速度的同時，還能夠保證各臺WEB服務器的同步，從而提高了用戶的訪問體驗。

本發明采用的技術方案如下：

本發明提供一種基于多線程異步下載頁面的多服務器同步方法，包括以下步驟：

S1，接收配置文件的存儲位置信息；

S2，根據接收到的所述存儲位置信息，讀取所述配置文件；其中，所述配置文件已存儲由一個以上需要下載的原始頁面地址組成的原始頁面地址列表，還存儲與每個所述原始頁面地址對應的一個以上同步服務器IP和路徑；

S3，對讀取到的所述配置文件進行預處理，得到處理后的新配置文件；其中，所述新配置文件中存儲由一個以上需要下載的有效頁面地址組成的有效頁面地址列表，還存儲與每個所述有效頁面地址對應的一個以上同步服務器IP和路徑；

S4，計算所述有效頁面地址列表中存儲的有效頁面地址數量，然后基于線程創建規則創建多個下載線程；

S5，定義各個所述下載線程與所述有效頁面地址的對應關系；

S6，各個所述下載線程通過與自身對應的有效頁面地址，讀取到有效頁面，然后異步下載所述有效頁面；

S7，各個所述下載線程通過讀取所述配置文件，獲得與所述有效頁面地址對應的同步服務器IP和路徑；

S8，各個所述下載線程將S6得到的所述有效頁面同步到S7獲得的同步服務器IP和路徑所表示的同步服務器上；

當任意一個所述下載線程執行S8結束時，所述下載線程申請處理下一個有效頁面，直到沒有需要處理的有效頁面時，注銷所述下載線程。

優選的，S3中，對讀取到的所述配置文件進行預處理，具體為：

對讀取到的所述配置文件進行過濾操作。

優選的，對讀取到的所述配置文件進行過濾操作，具體為：

判斷各個所述原始頁面地址是否為合法的地址鏈接，如果存在不合法的地址鏈接，則刪除所述不合法的地址鏈接；和/或

判斷所述配置文件中是否存在說明性文字；如果存在，則刪除所述說明性文字；和/或

判斷所述配置文件中是否存在相同的原始頁面地址與同步服務器IP和路徑對應關系；如果存在，則刪除重復的所述原始頁面地址與同步服務器IP和路徑對應關系。

優選的，S6中，指定下載線程異步下載指定有效頁面具體為：

所述指定下載線程向指定頁面服務器發送下載請求消息；然后判斷是否在預定時間間隔內收到所述指定頁面服務器返回的下載響應消息，如果收到，則繼續后續流程；如果沒有收到，則注銷所述指定下載線程。

優選的，S8中，特定下載線程將特定有效頁面同步到特定同步服務器上，具體為：

在前一時刻，所述特定下載線程下載所述特定有效頁面地址所代表的有效頁面P1；然后將所述有效頁面P1以文件名X保存到所述特定同步服務器上；

在當前時刻，所述特定下載線程下載所述特定有效頁面地址所代表的有效頁面P2；然后，首先將所述有效頁面P2以文件名Y寫入所述特定同步服務器上；再用所述有效頁面P2替換所述有效頁面P1；其中，文件名X與文件名Y不相同。

優選的，S8，特定下載線程將特定有效頁面同步到特定同步服務器上，具體為：