[發明專利]基于多線程異步下載頁面的多服務器同步方法

有效

• 申請號: 201310220524.7
• 申請日: 2013-06-05
• 公開（公告）號: CN104219271B
• 公開（公告）日: 2017-10-27
• 發明（設計）人: 夏乃琛
• 申請（專利權）人: 北京齊爾布萊特科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F9/52
• 代理公司: 北京市盛峰律師事務所11337
• 代理人: 趙建剛

1.一種基于多線程異步下載頁面的多服務器同步方法，其特征在于，包括以下步驟：

S1，接收配置文件的存儲位置信息；

S2，根據接收到的所述存儲位置信息，讀取所述配置文件；其中，所述配置文件已存儲由一個以上需要下載的原始頁面地址組成的原始頁面地址列表，還存儲與每個所述原始頁面地址對應的一個以上同步服務器IP和路徑；

S3，對讀取到的所述配置文件進行預處理，得到處理后的新配置文件；其中，所述新配置文件中存儲由一個以上需要下載的有效頁面地址組成的有效頁面地址列表，還存儲與每個所述有效頁面地址對應的一個以上同步服務器IP和路徑；

S4，計算所述有效頁面地址列表中存儲的有效頁面地址數量，然后基于線程創建規則創建多個下載線程；

S5，定義各個所述下載線程與所述有效頁面地址的對應關系；

S6，各個所述下載線程通過與自身對應的有效頁面地址，讀取到有效頁面，然后異步下載所述有效頁面；

S7，各個所述下載線程通過讀取所述配置文件，獲得與所述有效頁面地址對應的同步服務器IP和路徑；

S8，各個所述下載線程將S6得到的所述有效頁面同步到S7獲得的同步服務器IP和路徑所表示的同步服務器上；

當任意一個所述下載線程執行S8結束時，所述下載線程申請處理下一個有效頁面，直到沒有需要處理的有效頁面時，注銷所述下載線程。

2.根據權利要求1所述的基于多線程異步下載頁面的多服務器同步方法，其特征在于，S3中，對讀取到的所述配置文件進行預處理，具體為：

對讀取到的所述配置文件進行過濾操作和去重操作。

3.根據權利要求2所述的基于多線程異步下載頁面的多服務器同步方法，其特征在于，對讀取到的所述配置文件進行過濾操作和去重操作，具體為：

過濾操作具體包括：判斷各個所述原始頁面地址是否為合法的地址鏈接，如果存在不合法的地址鏈接，則刪除所述不合法的地址鏈接；和/或判斷所述配置文件中是否存在說明性文字；如果存在，則刪除所述說明性文字；和/或

去重操作具體包括以下方式：判斷所述配置文件中是否存在相同的原始頁面地址與同步服務器IP和路徑對應關系；如果存在，則刪除重復的所述原始頁面地址與同步服務器IP和路徑對應關系。

4.根據權利要求1所述的基于多線程異步下載頁面的多服務器同步方法，其特征在于，S6中，指定下載線程異步下載指定有效頁面具體為：

所述指定下載線程向指定頁面服務器發送下載請求消息；然后判斷是否在預定時間間隔內收到所述指定頁面服務器返回的下載響應消息，如果收到，則繼續后續流程；如果沒有收到，則注銷所述指定下載線程。

5.根據權利要求1所述的基于多線程異步下載頁面的多服務器同步方法，其特征在于，S8中，特定下載線程將特定有效頁面同步到特定同步服務器上，具體為：

在前一時刻，所述特定下載線程下載所述特定有效頁面地址所代表的有效頁面P1；然后將所述有效頁面P1以文件名X保存到所述特定同步服務器上；

在當前時刻，所述特定下載線程下載所述特定有效頁面地址所代表的有效頁面P2；然后，首先將所述有效頁面P2以文件名Y寫入所述特定同步服務器上；再用所述有效頁面P2替換所述有效頁面P1；其中，文件名X與文件名Y不相同。

6.根據權利要求1所述的基于多線程異步下載頁面的多服務器同步方法，其特征在于，S8，特定下載線程將特定有效頁面同步到特定同步服務器上，具體為：

所述特定下載線程首先判斷所述特定有效頁面是否為只讀屬性；如果是，則將所述特定有效頁面的只讀屬性改為非只讀屬性之后，再將非只讀屬性的所述特定有效頁面同步到特定同步服務器上。