[發明專利]一種數據加載方法和系統

在審

• 申請號: 201210580016.5
• 申請日: 2012-12-27
• 公開（公告）號: CN103902585A
• 公開（公告）日: 2014-07-02
• 發明（設計）人: 秦平;齊驥;錢嶺
• 申請（專利權）人: 中國移動通信集團公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;H04L29/08
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 張玉波;宋志強

技術領域

本申請涉及數據處理技術領域，尤其涉及一種數據加載方法和系統。

背景技術

在互聯網、通信等領域中，常常需要將大批量的數據加載到指定的數據倉庫中。圖1是目前常用的數據加載系統組成示意圖。

如圖1所示，目前的數據加載系統包括主節點101、代理服務節點102、收集點103和數據倉庫104，每個代理服務節點102都綁定特定的收集點103，例如，在圖1所示例子中，代理服務節點A和代理服務節點B都和收集點A綁定，代理服務節點C和代理服務節點D都和收集點B綁定。

主節點101，用于啟動或停止代理服務節點102以及收集點103。

代理服務節點102包括存儲模塊和代理服務模塊，存儲模塊用于存儲需要加載的數據，代理服務模塊用于讀取所述存儲模塊中需要加載的數據，將所述需要加載的數據發給與該代理服務節點102綁定的收集點103。

收集點103，用于將接收的數據通過數據倉庫104提供的接口寫入到數據倉庫104，從而實現數據加載。

其中，代理服務模塊在從存儲模塊讀取需要加載的數據以后，按照一定的格式解析需要加載的數據，由于需要加載的數據一般都是文件類型，為了保證數據加載過程中不會丟失數據，代理服務模塊對需要加載的數據文件進行解析后不進行任何其他處理而直接重命名為隱藏文件，然后將所述隱藏文件直接發給與該代理服務模塊所在的代理服務節點102綁定的收集點103。

在實際應用中，數據加載系統有時會出現一些異常情況，例如，數據加載系統中的某個或某些收集點103出現故障。

目前，當收集點103出現故障時，與該收集點103綁定的代理服務節點102在向該收集點103發送數據時將會出錯，該代理服務節點102從而得知與其自身綁定的收集點103出現了故障。

由于目前的數據加載系統中代理服務節點102和收集點103之間是綁定的關系，即每個代理服務節點102綁定到特定的收集點103上，只能通過綁定的收集點103實現數據加載，因此，當某些收集點103出現故障時，與這些收集點103綁定的代理服務節點102中存儲的需要加載的數據將無法加載到數據倉庫104中，造成數據丟失。

發明內容

有鑒于此，本申請提供了一種數據加載方法和系統，能夠解決由于收集節點出現故障而導致部分數據無法加載到數據倉庫的問題。

一種數據加載方法，該方法包括：

配置數據塊標識ID與收集點的映射關系，在收集點出現故障時，將該出現故障的收集點映射的數據塊ID重新配置為與其他未出現故障的收集點相映射；

將需要加載的數據按照預設規則劃分為數據塊，并為每個數據塊賦予ID，獲取數據塊ID與收集點的映射關系，根據該映射關系，將數據塊發給該數據塊ID映射的收集點；

收集點將數據塊寫入到數據倉庫。

一種數據加載系統，該系統包括主節點、代理服務節點和收集點；

所述主節點，用于配置數據塊標識ID與收集點的映射關系，在收集點出現故障時，將該出現故障的收集點映射的數據塊ID重新配置為與其他未出現故障的收集點相映射；

所述代理服務節點，用于將需要加載的數據按照預設規則劃分為數據塊，并為每個數據塊賦予ID，獲取數據塊ID與收集點的映射關系，根據該映射關系，將數據塊發給該數據塊ID映射的收集點；

所述收集點，用于將數據塊寫入到數據倉庫。

可見，由于本發明在進行數據加載時，并非像現有技術那樣將每個代理服務節點與收集點進行綁定，每個代理服務節點負責的需要加載的數據只能通過綁定的特定收集點加載到數據倉庫中，而是將需要加載的數據劃分為粒度較小的數據塊，為每個數據塊賦予ID，建立數據塊ID與收集點的映射關系，根據映射關系確定每個收集點負責加載的數據塊，并且，一旦發現有某個或某些收集點出現故障，則重新配置數據塊ID與收集點的映射關系，即將出現故障的收集點映射的數據塊ID重新配置為與其他未出現故障的收集點相映射，進而使得能夠通過其他未出現故障的收集點將已出現故障的收集點原來負責的數據塊寫入到數據倉庫中，解決了現有技術中由于收集點出現故障而導致部分數據無法加載到數據倉庫的問題。

附圖說明

圖1是目前常用的數據加載系統組成示意圖。

圖2是本發明提供的數據加載方法流程圖。

圖3是本發明提供的數據加載系統組成示意圖。

具體實施方式

圖2是本發明提供的數據加載方法流程圖。

如圖2所示，該流程包括：