[發(fā)明專利]基于數(shù)據(jù)倉庫的數(shù)據(jù)匯聚調(diào)度方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201410037541.1
• 申請(qǐng)日: 2014-01-26
• 公開（公告）號(hào): CN103810258B
• 公開（公告）日: 2017-06-30
• 發(fā)明（設(shè)計(jì)）人: 何峻;陳亞萍;孫勇
• 申請(qǐng)（專利權(quán)）人: 杭州東方通信軟件技術(shù)有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;G06F9/46;G06F11/34
• 代理公司: 北京億騰知識(shí)產(chǎn)權(quán)代理事務(wù)所11309
• 代理人: 陳霽

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)倉庫，特別是涉及一種基于數(shù)據(jù)倉庫的數(shù)據(jù)匯聚調(diào)度方法。

背景技術(shù)

數(shù)據(jù)倉庫主要有數(shù)據(jù)緩存層、基礎(chǔ)數(shù)據(jù)層、數(shù)據(jù)倉庫層和數(shù)據(jù)集市層組成。現(xiàn)有的數(shù)據(jù)倉庫的數(shù)據(jù)處理方式普遍采用的是周期輪詢和定時(shí)作業(yè)。即ETL將數(shù)據(jù)裝載至數(shù)據(jù)存儲(chǔ)層或者基礎(chǔ)數(shù)據(jù)層；定時(shí)作業(yè)將數(shù)據(jù)抽取、匯聚至數(shù)據(jù)倉庫層；根據(jù)業(yè)務(wù)需求從數(shù)據(jù)倉庫層匯聚至數(shù)據(jù)集市層。而對(duì)于裝載延時(shí)或數(shù)據(jù)缺失時(shí)通常是采用某個(gè)時(shí)間點(diǎn)來匯聚前面幾個(gè)周期的數(shù)據(jù)。

現(xiàn)在技術(shù)存在以下幾個(gè)問題：在遇到接口數(shù)據(jù)缺失、數(shù)據(jù)裝載延時(shí)或者其它導(dǎo)致數(shù)據(jù)無法及時(shí)裝載入庫的問題時(shí)，由于匯聚程序是依賴定時(shí)、周期的作業(yè)驅(qū)動(dòng)，從而無法及時(shí)得到消息仍然繼續(xù)定時(shí)匯聚數(shù)據(jù)，導(dǎo)致上層數(shù)據(jù)缺失；由于ETL裝載程序和匯聚程序脫節(jié)，沒有及時(shí)有效的消息傳遞導(dǎo)致上層的數(shù)據(jù)缺失，通常是問題發(fā)生了一段時(shí)間之后，才由用戶反應(yīng)數(shù)據(jù)缺失，造成用戶體驗(yàn)很差；為了彌補(bǔ)數(shù)據(jù)缺失問題，現(xiàn)有方案通常是某個(gè)時(shí)間點(diǎn)匯聚前面幾個(gè)周期的數(shù)據(jù)，這樣做了很多重復(fù)的工作，很大程度的浪費(fèi)了數(shù)據(jù)庫資源；由于數(shù)據(jù)倉庫本身就具有多接口數(shù)據(jù)源、匯聚表間的依賴關(guān)系層次較深、數(shù)據(jù)處理有大量的并發(fā)任務(wù)等特點(diǎn)，而目前常用的方案由于ETL和匯聚之間沒有有效的消息傳遞導(dǎo)致數(shù)據(jù)質(zhì)量無法及時(shí)的捕獲到異常情況，在問題溯源時(shí)只能通過人工排查，效率非常低下；并且對(duì)匯聚任務(wù)無法進(jìn)行合理靈活的組織，導(dǎo)致數(shù)據(jù)庫資源資源經(jīng)常得不到充分合理的利用。

針對(duì)現(xiàn)有技術(shù)的數(shù)據(jù)倉庫的裝載延時(shí)或數(shù)據(jù)缺失等問題，需要建立一種新的基于數(shù)據(jù)倉庫的數(shù)據(jù)匯聚調(diào)度方法。

發(fā)明內(nèi)容

本發(fā)明的目的是為了解決接口數(shù)據(jù)缺失、數(shù)據(jù)裝載延時(shí)導(dǎo)致數(shù)據(jù)無法及時(shí)裝載入庫的問題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種基于數(shù)據(jù)倉庫的數(shù)據(jù)匯聚調(diào)度方法，其特征在于，所述方法包括：

開啟調(diào)度任務(wù)中的主任務(wù)進(jìn)程；

所述主任務(wù)進(jìn)程根據(jù)數(shù)據(jù)源的屬性信息啟動(dòng)第一相關(guān)任務(wù)云中的第一任務(wù)云；

所述第一任務(wù)云對(duì)本地的第一任務(wù)組進(jìn)行遍歷，從所述第一任務(wù)組中選擇滿足匯聚條件的表組成第一組表；

將所述第一組表并行匯聚處理得到匯聚表；

當(dāng)所述匯聚表的可信度發(fā)生變化時(shí)，則創(chuàng)建匯聚子任務(wù)進(jìn)行記錄所述匯聚表信息；

標(biāo)記所述第一任務(wù)組實(shí)例狀態(tài)。

進(jìn)一步地，所述方法還包括：數(shù)據(jù)裝載程序?qū)?shù)據(jù)源在數(shù)據(jù)緩存層進(jìn)行裝載。

進(jìn)一步地，所述方法還包括：所述數(shù)據(jù)裝載程序通過校驗(yàn)標(biāo)準(zhǔn)接口獲取所述數(shù)據(jù)源的屬性信息。

進(jìn)一步地，當(dāng)所述匯聚表的可信度沒有發(fā)生變化時(shí)，則標(biāo)記所述第一任務(wù)組實(shí)例狀態(tài)。

進(jìn)一步地，所述第一任務(wù)云還包括第二任務(wù)組，所述方法還包括：

啟動(dòng)所述第二任務(wù)組；

所述第一任務(wù)云對(duì)本地的第二任務(wù)組進(jìn)行遍歷，從所述第二任務(wù)組中選擇滿足匯聚條件的表組成第二組表；

將所述第二組表并行匯聚處理得到匯聚表；

當(dāng)所述匯聚表的可信度發(fā)生變化時(shí)，則創(chuàng)建匯聚子任務(wù)進(jìn)行記錄所述匯聚表信息；

標(biāo)記所述第二任務(wù)組實(shí)例狀態(tài)。

進(jìn)一步地，所述第一相關(guān)任務(wù)云還包括第二任務(wù)云，所述方法還包括：

如果所述第一任務(wù)云和所述第二任務(wù)云在節(jié)點(diǎn)處匯合，則所述第一相關(guān)任務(wù)云遍歷結(jié)束。

進(jìn)一步地，所述方法還包括：所述主任務(wù)進(jìn)程啟動(dòng)所述第二相關(guān)任務(wù)云。

進(jìn)一步地，所述數(shù)據(jù)源屬性信息包括：接口記錄數(shù)、成功狀態(tài)、數(shù)據(jù)粒度、數(shù)據(jù)戳。

進(jìn)一步地，當(dāng)所述第一任務(wù)云和第二任務(wù)云的所述數(shù)據(jù)源的屬性信息相關(guān)時(shí)，同時(shí)啟動(dòng)所述第一任務(wù)云和第二任務(wù)云。

進(jìn)一步地，具體的，還包括，利用所述數(shù)據(jù)戳查找數(shù)據(jù)缺失和提高補(bǔ)匯數(shù)據(jù)效率。

本發(fā)明的優(yōu)點(diǎn)為：

1、本發(fā)明基于數(shù)據(jù)可信度，由任務(wù)自行觸發(fā)其它關(guān)聯(lián)任務(wù)，一個(gè)數(shù)據(jù)源接口的異動(dòng)會(huì)自動(dòng)觸發(fā)匯聚所有由該接口影響的數(shù)據(jù)表，不需要人工干預(yù)，通過合理的任務(wù)模型配置可以最大可能的避免高峰期數(shù)據(jù)庫資源使用瓶頸，將數(shù)據(jù)庫資源科學(xué)的最大化利用；

2、可以在數(shù)據(jù)缺失時(shí)及時(shí)發(fā)出告警，并可以通過數(shù)據(jù)戳快速定位問題根源。

附圖說明

圖1為本發(fā)明實(shí)施例提供的基于數(shù)據(jù)倉庫的數(shù)據(jù)匯聚調(diào)度方法流程圖；

圖2為本發(fā)明實(shí)施例提供的調(diào)度方法流程圖；

圖3為本發(fā)明實(shí)施例提供的任務(wù)模型示意圖；

圖4為本發(fā)明實(shí)施例提供的數(shù)據(jù)可信度流程圖；

圖5為本發(fā)明實(shí)施例提供的數(shù)據(jù)戳結(jié)構(gòu)示意圖；