[發明專利]一種數據加載方法和系統

在審

• 申請號: 201210580016.5
• 申請日: 2012-12-27
• 公開（公告）號: CN103902585A
• 公開（公告）日: 2014-07-02
• 發明（設計）人: 秦平;齊驥;錢嶺
• 申請（專利權）人: 中國移動通信集團公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;H04L29/08
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 張玉波;宋志強

1.一種數據加載方法，其特征在于，該方法包括：

配置數據塊標識ID與收集點的映射關系，在收集點出現故障時，將該出現故障的收集點映射的數據塊標識ID重新配置為與其他未出現故障的收集點相映射；

將需要加載的數據按照預設規則劃分為數據塊，并為每個數據塊賦予標識ID，獲取數據塊標識ID與收集點的映射關系，根據該映射關系，將數據塊發給該數據塊標識ID映射的收集點；

收集點將數據塊寫入到數據倉庫。

2.根據權利要求1所述的方法，其特征在于，該方法還包括：維護收集點接收到的每個數據塊的加載狀態信息；

收集點將數據塊寫入到數據倉庫包括：

收集點根據數據塊的加載狀態信息判斷接收的數據塊是否已被加載到數據倉庫中，如果是，則不將該接收的數據塊寫入到數據倉庫，否則，將該接收的數據塊寫入到數據倉庫。

3.根據權利要求2所述的方法，其特征在于，所述加載狀態信息包括已經加載狀態、未加載狀態和正在加載狀態；

收集點根據接收的數據塊標識ID查詢該數據塊的加載狀態，在該數據塊的加載狀態為已經加載狀態時，丟棄該數據塊，在該數據塊的加載狀態為未加載狀態時，將該數據塊寫入到數據倉庫，在該數據塊的加載狀態為正在加載狀態時，根據該數據塊標識ID查詢數據倉庫中該數據塊已經加載的內容，刪除該數據塊已經加載的內容，然后再將該數據塊寫入到數據倉庫；

其中，收集點向數據倉庫發送數據塊的內容和該數據塊的標識ID，數據倉庫存儲收集點發送的數據塊內容，并且，存儲數據塊內容與數據塊標識ID的對應關系。

4.根據權利要求3所述的方法，其特征在于，所述維護收集點接收到的每個數據塊的加載狀態信息包括：

維護數據塊加載狀態表，其中存儲有數據塊標識ID與相應數據塊的加載狀態信息的對應關系，在初始化所述數據塊加載狀態表時，將所有數據塊標識ID對應的加載狀態信息初始化為未加載狀態，在接收到數據塊并且確定該數據塊標識ID對應的數據加載狀態為未加載狀態后，將該數據塊標識ID對應的加載狀態信息修改為正在加載狀態，在該數據塊全部加載成功后，將該數據塊標識ID對應的加載狀態信息修改為已經加載狀態，在接收到數據塊并且確定該數據塊標識ID對應的數據加載狀態為正在加載狀態、且已經將數據倉庫中該數據塊已經加載的內容刪除后，將該數據塊標識ID對應的數據加載狀態修改為未加載狀態。

5.根據權利要求1所述的方法，其特征在于，將該出現故障的收集點映射的數據塊標識ID重新配置為與其他未出現故障的收集點相映射包括：

根據所述其他未出現故障的收集點的負荷狀態，選取負荷滿足預定條件的收集點，將該出現故障的收集點映射的數據塊標識ID重新配置為與所述負荷滿足預定條件的收集點相映射，或者，將該出現故障的收集點映射的數據塊標識ID均勻地、或按照一定比例地分成兩份以上，將各份分別映射不同的未出現故障的收集點。

6.根據權利要求1所述的方法，其特征在于，獲取數據塊標識ID與收集點的映射關系，根據該映射關系，將數據塊發給該數據塊標識ID映射的收集點包括：

在向收集點發送數據塊出錯時，重新獲取數據塊標識ID與收集點的映射關系，根據重新獲取的映射關系確定該數據塊映射的收集點，向該收集點發送該數據塊。

7.一種數據加載系統，其特征在于，該系統包括主節點、代理服務節點和收集點；

所述主節點，用于配置數據塊標識ID與收集點的映射關系，在收集點出現故障時，將該出現故障的收集點映射的數據塊標識ID重新配置為與其他未出現故障的收集點相映射；

所述代理服務節點，用于將需要加載的數據按照預設規則劃分為數據塊，并為每個數據塊賦予標識ID，獲取數據塊標識ID與收集點的映射關系，根據該映射關系，將數據塊發給該數據塊標識ID映射的收集點；

所述收集點，用于將數據塊寫入到數據倉庫。

8.根據權利要求7所述的系統，其特征在于，所述收集點包括狀態維護模塊和寫入模塊；

所述狀態維護模塊，用于維護收集點接收到的每個數據塊的加載狀態信息；

所述寫入模塊，用于根據數據塊的加載狀態信息判斷接收的數據塊是否已被加載到數據倉庫中，如果是，則不將該接收的數據塊寫入到數據倉庫，否則，將該接收的數據塊寫入到數據倉庫。