[發明專利]一種針對DB2數據倉庫進行數據抽取、調度及展現的方法

有效

• 申請號: 201110356395.5
• 申請日: 2011-11-11
• 公開（公告）號: CN102339323A
• 公開（公告）日: 2012-02-01
• 發明（設計）人: 劉榮;王培亞
• 申請（專利權）人: 江蘇鴻信系統集成有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 許方

技術領域

本發明是數據倉庫應用領域中，針對復雜數據庫模型和業務邏輯的應用需求，提出的如何快速進行數據抽取、調度及展現的方法。

背景技術

數據倉庫是大型企業消除信息孤島，實現信息共享，為領導層提供數據分析、決策輔助的重要信息系統。

在數據倉庫應用領域，電信等行業的數據量通常有幾百乃至上千TB，每天新增、更新的數據也接近TB級別。相對而言，整個系統涉及到的表數以千計。數據調度工作是整個數據倉庫正常運行的基礎，數據調度的準確性和及時性直接影響到數據倉庫的正常應用，因此數據調度工作要求相當高，即需要在規定的時間內保證調度的正確執行，并解決相關異常情況。如何及時、準確、有效地實現數據的抽取、轉換和裝載，為上層應用提供支撐，需要研究開發一套行之有效的數據抽取、調度和展現方案。

發明內容

本發明要解決的技術問題是針對目前流行的數據倉庫開發、調度和展現的流程缺陷，提供一種針對DB2數據倉庫進行數據抽取、調度及展現的方法。

本發明針對DB2數據倉庫進行數據抽取、調度及展現的方法，包括以下步驟：

（1）開發人員從開發任務服務器領取開發任務，根據數據倉庫的數據模型，和業務邏輯，利用IBM客戶端工具Design?Studio，用圖形方式描述存儲過程邏輯，并部署為DataStage可執行文件。解析DataStage可執行文件，提取、轉換成可執行的SQL語句。將獲得的SQL語句填充到預先設計好的存儲過程模版中，然后更新開發任務服務器上的任務狀態；

（2）開發任務服務器根據更新的任務狀態，通知調度人員有新的調度開發任務，調度人員利用Powercenter工具快速開發調度任務，對生成的存儲過程進行調度，生成目標表，然后更新刷新任務服務器上的目標表調度完成狀態；

（3）利用cognos多維cube刷新命令設計出自動刷新腳本。多維刷新進程定時查詢刷新任務服務器上的目標表調度完成狀態，對已調度完成的目標表，進行自動調度Cube刷新；

（4）如果自動調度Cube刷新失敗，通過短信通知管理員。由管理員進行手工刷新，實現刷新數據的及時展現。?

附圖說明

圖1是本發明的流程圖。圖中，1，開始狀態；2，利用Design?Studio描述存儲過程邏輯，并部署為DataStage可執行文件；3，解析DataStage可執行文件，提取、轉換成可執行的SQL語句；4，將獲得的SQL語句填充到預先設計好的存儲過程模版中，生成存儲過程；5，利用Powercenter工具快速開發調度任務，對生成的存儲過程進行調度，生成目標表；6，定時掃描；7，是否刷新；8，生成刷新腳本；9，自動刷新腳本；10，自動執行是否成功；11，更新Cube信息表；12，短信通知；13，短信告警；14，手動管理；15，檢索Cube信息表獲得更新信息；16，生成并執行腳本；17，手工執行是否成功。

具體實施方式

下面結合附圖對發明的技術方案進行詳細說明：

如圖1所示，針對后期運維需求設計好存儲過程模板和日志表；借助IBM客戶端工具Design?Studio新建數據倉庫工程，用圖形方式描述存儲過程邏輯，并部署為DataStage可執行文件；解析DataStage可執行文件，提取、轉換成可執行的SQL語句；將提取的SQL語句填充到前期中設計好的存儲過程模版中,生成存儲過程。

然后利用Powercenter工具，進行調度邏輯的開發。ETL系統調度的設計思想是4級從上往下進行逐級管理控制，頂級是ETL系統總體控制，對源系統àSSA層àSORàBMLàDM這4層進行逐層管理調度，第二級是層控制，即每層的總體控制，第三級是域控制，即在每層中按數據抽取任務的業務類型進行按域分類控制，第四級即是詳細的數據抽取任務，由Session和Procedure組成。最終生成目標表。