[發明專利]數據存儲方法、數據下載方法及其裝置

有效

• 申請號: 201210087144.6
• 申請日: 2012-03-29
• 公開（公告）號: CN103365865B
• 公開（公告）日: 2017-07-11
• 發明（設計）人: 劉剛
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;H04L29/08
• 代理公司: 北京派特恩知識產權代理有限公司11270
• 代理人: 張穎玲,蔣雅潔

1.一種數據存儲方法，其特征在于，包括：

當接收到入庫請求時，獲取其中攜帶的統一資源定位符URL；

判斷自身是否存儲有與所述URL對應的URL模板；其中，所述URL模板與同一域名下的同一文件的不同URL對應；

當判斷結果為是時，所述URL不存儲到URL資源索引數據庫，并結束此次入庫操作；

當判斷結果為否時，確定與所述URL對應的URL模板，以及所述URL對應的文件的hash值和所述URL模板的hash值，并將所述文件的hash值與所述URL模板的hash值的對應關系信息存儲到所述URL索引數據庫。

2.如權利要求1所述的方法，其特征在于，所述確定所述URL對應的文件的hash值，具體為：

若所述入庫請求為下載客戶端發送的入庫請求，則獲取所述入庫請求中攜帶的文件的hash值；

若所述入庫請求為資源爬蟲系統發送的入庫請求，則下載入庫請求中攜帶的URL對應的文件，并確定所述文件的hash值。

3.如權利要求2所述的方法，其特征在于，所述確定URL對應的URL模板之后，還包括：存儲所述URL模板，并將所述URL模板存儲到URL索引數據服務器。

4.如權利要求1所述的方法，其特征在于，所述判斷自身是否存儲有與所述URL對應的URL模板，具體為：

當根據自身存儲的需要進行模板匹配的URL對應的域名信息確定所述URL需要進行模板匹配時，判斷自身是否存儲有與所述URL對應的URL模板。

5.如權利要求1所述的方法，其特征在于，所述判斷自身是否存儲有與所述URL對應的URL模板，具體為：

當確定URL資源數據庫中未存儲有所述URL時，判斷自身是否存儲有與所述URL對應的URL模板。

6.一種基于權利要求1-5任一項所述的方法實現的數據下載方法，其特征在于，包括：URL索引數據服務器接收資源索引服務器發送的用于查詢請求下載的文件的hash值的查詢請求，其中攜帶所述請求下載的文件的URL；

所述URL索引數據服務器根據所述請求下載的文件的URL確定與所述URL對應的URL模板，并確定所述URL模板的hash值；

所述URL索引數據服務器根據所述URL模板的hash值查詢對應的文件hash值，并將查詢到的文件hash值返回給所述資源索引服務器，由所述資源索引服務器根據所述文件hash值獲取對應的URL集合并返回給下載客戶端，以使所述下載客戶端根據所述URL集合進行多源下載。

7.如權利要求6所述的方法，其特征在于，所述URL索引數據服務器根據所述URL模板的hash值查詢對應的文件hash值，具體為：

所述索引數據服務器向所述URL索引數據庫發送文件hash值查詢請求，其中攜帶所述文件對應的URL模板的hash值；

所述索引數據服務器接收所述URL索引數據庫返回的文件hash值；其中，所述URL資源索引數據庫根據接收到的URL模板hash值以及自身存儲的文件hash值和URL模板的hash值的對應關系信息查詢接收到的URL模板hash值對應的文件hash值。

8.一種數據存儲裝置，其特征在于，包括：

存儲模塊，用于存儲URL模板；

獲取模塊，用于當所述數據存儲裝置接收到入庫請求時，獲取其中攜帶的統一資源定位符URL；

判斷模塊，用于判斷所述存儲模塊是否存儲有與所述URL對應的URL模板；其中，所述URL模板與同一域名下的同一文件的不同URL對應；

處理模塊，用于當所述判斷模塊的判斷結果為是時，所述URL不存儲到URL資源索引數據庫，并結束此次入庫操作；當所述判斷模塊的判斷結果為否時，確定與所述URL對應的URL模板，以及所述URL對應的文件的hash值和所述URL模板的hash值，并將所述文件的hash值與所述URL模板的hash值的對應關系信息存儲到所述URL索引數據庫。

9.如權利要求8所述的數據存儲裝置，其特征在于，

所述處理模塊具體用于，若所述入庫請求為下載客戶端發送的入庫請求，則獲取所述入庫請求中攜帶的文件的hash值；若所述入庫請求為資源爬蟲系統發送的入庫請求，則下載入庫請求中攜帶的URL對應的文件，并確定所述文件的hash值。