[發(fā)明專利]一種數(shù)據(jù)倉庫調(diào)度文件自動生成系統(tǒng)及生成方法

在審

• 申請?zhí)枺?/td>: 201910632400.7
• 申請日: 2019-07-13
• 公開（公告）號: CN110389955A
• 公開（公告）日: 2019-10-29
• 發(fā)明（設計）人: 信華哺
• 申請（專利權）人: 北京海致星圖科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/25
• 代理公司: 深圳大域知識產(chǎn)權代理有限公司 44479
• 代理人: 孟慶茹

本發(fā)明公開了一種數(shù)據(jù)倉庫調(diào)度文件自動生成系統(tǒng)及生成方法，本系統(tǒng)包括血緣文件、配置文件和執(zhí)行器，所述執(zhí)行器具有：第一解析模塊、第二解析模塊、第一腳本生成模塊、第二腳本生成模塊、以及轉換模塊。本方法包括：解析配置文件獲取所述數(shù)據(jù)倉庫的環(huán)境參數(shù)；解析血緣文件將血緣關系轉譯成數(shù)據(jù)庫語言；根據(jù)解析結果生成調(diào)度腳本；根據(jù)解析結果生成建表腳本；以及將所述調(diào)度腳本和所述建表腳本進行字符集轉換生成調(diào)度文件。使用本發(fā)明，血緣文件由業(yè)務人員填寫制作，IT開發(fā)人員只需校驗即可，可以減少IT開發(fā)的人力成本，開發(fā)時間可縮減至原來的一半。

技術領域

本發(fā)明涉及數(shù)據(jù)倉庫的自動化開發(fā)領域，尤其涉及一種數(shù)據(jù)倉庫調(diào)度文件自動生成系統(tǒng)及生成方法。

背景技術

數(shù)據(jù)倉庫是決策支持系統(tǒng)和聯(lián)機分析應用數(shù)據(jù)源的結構化數(shù)據(jù)環(huán)境。數(shù)據(jù)倉庫研究和解決從數(shù)據(jù)庫中獲取信息的問題。數(shù)據(jù)倉庫的特征在于面向主題、集成性、穩(wěn)定性和時變性。數(shù)據(jù)倉庫由數(shù)據(jù)倉庫之父比爾·恩門(Bill Inmon)于1990年提出，主要功能仍是將組織透過資訊系統(tǒng)之聯(lián)機事務處理過程(On-Line Transaction Processing，簡稱OLTP)經(jīng)年累月所累積的大量資料，透過數(shù)據(jù)倉庫理論所特有的資料儲存架構，做有系統(tǒng)的分析整理，以利各種分析方法如聯(lián)機分析處理過程(On-Line Transaction Processing，簡稱OLAP)、數(shù)據(jù)挖掘(Data Mining)之進行，并進而支持如決策支持系統(tǒng)、主管資訊系統(tǒng)之創(chuàng)建，幫助決策者能快速有效的自大量資料中，分析出有價值的資訊，以利決策擬定及快速回應外在環(huán)境變動，幫助建構商業(yè)智能。

腳本是批處理文件的延伸，是一種純文本保存的程序。

常規(guī)的數(shù)據(jù)倉庫開發(fā)，需要精通行業(yè)知識的業(yè)務人員提供加工的邏輯口徑，互聯(lián)網(wǎng)技術(internet Technology，簡稱IT)開發(fā)人員根據(jù)提供的口徑加工數(shù)據(jù)并形成展示報表。業(yè)務人員精通專業(yè)知識但是互聯(lián)網(wǎng)技術不足，互聯(lián)網(wǎng)技術開發(fā)人員開發(fā)熟練但是不通邏輯，單一一方不能完成開發(fā)任務，雙方合作又造成人力和溝通的成本高昂。通常情況下，在開發(fā)數(shù)據(jù)倉庫前互聯(lián)網(wǎng)技術開發(fā)人員對所有涉及到的業(yè)務系統(tǒng)做調(diào)研大概3個月，開發(fā)中仍然需要與業(yè)務人員溝通邏輯口徑，開發(fā)完成后還需要進行大量測試驗證口徑和數(shù)據(jù)的正確性，這樣開發(fā)一個數(shù)據(jù)集市完整的周期要6個月左右。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種數(shù)據(jù)倉庫調(diào)度文件自動生成系統(tǒng)及生成方法，以至少在一定程度上克服相關技術存在的問題。

為達上述目的，本發(fā)明采用的技術方案如下：

一種數(shù)據(jù)倉庫調(diào)度文件自動生成系統(tǒng)，本系統(tǒng)包括：

血緣文件，所述血緣文件記錄有所述數(shù)據(jù)倉庫的層級間的血緣關系；

配置文件，所述配置文件記錄有所述數(shù)據(jù)倉庫的環(huán)境參數(shù)；以及

執(zhí)行器，所述執(zhí)行器具有：

用于解析所述配置文件獲取所述數(shù)據(jù)倉庫的環(huán)境參數(shù)的第一解析模塊；

用于解析所述血緣文件將血緣關系轉譯成數(shù)據(jù)庫語言的第二解析模塊；

用于根據(jù)解析結果生成調(diào)度腳本的第一腳本生成模塊；

用于根據(jù)解析結果生成建表腳本的第二腳本生成模塊；以及

用于將所述調(diào)度腳本和所述建表腳本進行字符集轉換生成調(diào)度文件的轉換模塊。

進一步，所述執(zhí)行器還具有用于將任務拆解成多個分支的拆解模塊。

進一步，所述執(zhí)行器還具有用于生成處理日志的日志生成模塊。

一種數(shù)據(jù)倉庫調(diào)度文件自動生成方法，本方法包括以下步驟：

解析配置文件獲取所述數(shù)據(jù)倉庫的環(huán)境參數(shù)；