[發明專利]基于數據倉庫的數據匯聚調度方法

有效

• 申請號: 201410037541.1
• 申請日: 2014-01-26
• 公開（公告）號: CN103810258B
• 公開（公告）日: 2017-06-30
• 發明（設計）人: 何峻;陳亞萍;孫勇
• 申請（專利權）人: 杭州東方通信軟件技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F9/46;G06F11/34
• 代理公司: 北京億騰知識產權代理事務所11309
• 代理人: 陳霽

1.一種基于數據倉庫的數據匯聚調度方法，其特征在于，所述方法包括：

開啟調度任務中的主任務進程；

所述主任務進程根據數據源的屬性信息啟動第一相關任務云中的第一任務云，其中，所述數據源的屬性信息包括：接口記錄數、成功狀態、數據粒度、數據戳；

所述第一任務云對本地的第一任務組進行遍歷，從所述第一任務組中選擇滿足匯聚條件的表組成第一組表；

將所述第一組表并行匯聚處理得到匯聚表，記錄匯聚表數據可信度；

當所述匯聚表的可信度發生變化時，則創建匯聚子任務進行重新匯聚，記錄所述匯聚表信息；

標記所述第一任務組實例狀態。

2.根據權利要求1所述的基于數據倉庫的數據匯聚調度方法，其特征在于，所述方法還包括：數據裝載程序將數據源在數據緩存層進行裝載。

3.根據權利要求2所述的基于數據倉庫的數據匯聚調度方法，其特征在于，所述方法還包括：所述數據裝載程序通過校驗標準接口獲取所述數據源的屬性信息。

4.根據權利要求1所述的基于數據倉庫的數據匯聚調度方法，其特征在于，所述方法還包括：當所述匯聚表的可信度沒有發生變化時，則標記所述第一任務組實例狀態。

5.根據權利要求1所述的基于數據倉庫的數據匯聚調度方法，其特征在于，所述第一任務云還包括第二任務組，所述方法還包括：

啟動所述第二任務組；

所述第一任務云對本地的第二任務組進行遍歷，從所述第二任務組中選擇滿足匯聚條件的表組成第二組表；

將所述第二組表并行匯聚處理得到匯聚表；

當所述第二組表并行匯聚處理得到的匯聚表的可信度發生變化時，則創建匯聚子任務進行重新匯聚，記錄所述第二組表并行匯聚處理得到的匯聚表信息；

標記所述第二任務組實例狀態。

6.根據權利要求1所述的基于數據倉庫的數據匯聚調度方法，其特征在于，所述第一相關任務云還包括第二任務云，所述方法還包括：

如果所述第一任務云和所述第二任務云在節點處匯合，則所述第一相關任務云遍歷結束。

7.根據權利要求6所述的基于數據倉庫的數據匯聚調度方法，其特征在于，所述方法還包括：所述主任務進程啟動第二相關任務云。

8.根據權利要求6所述的基于數據倉庫的數據匯聚調度方法，其特征在于，當所述第一任務云和第二任務云的所述數據源的屬性信息相關時，同時啟動所述第一任務云和第二任務云。

9.根據權利要求1所述的基于數據倉庫的數據匯聚調度方法，其特征在于，具體的，還包括，利用所述數據戳查找數據缺失和提高補匯數據效率。