[發(fā)明專利]ETL過程并行決策方法及裝置

有效

• 申請?zhí)枺?/td>: 201510272060.3
• 申請日: 2015-05-25
• 公開（公告）號: CN104850638B
• 公開（公告）日: 2018-10-19
• 發(fā)明（設(shè)計）人: 李青海;簡宋全;侯大勇;鄒立斌;許飛月
• 申請（專利權(quán)）人: 廣東精點(diǎn)數(shù)據(jù)科技股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京隆源天恒知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11473
• 代理人: 閆冬

本發(fā)明為一種ETL過程并行決策方法及裝置，所述方法包括：步驟a，輸出帶有操作信息的ETL過程腳本文件并初始化并行參數(shù)表；步驟b，執(zhí)行帶有所述操作信息的所述ETL過程腳本文件并將執(zhí)行信息記錄在所述并行參數(shù)表中；步驟c，分析所述并行參數(shù)表并為每個操作的并行方式做決策，將決策結(jié)果寫入所述并行參數(shù)表中，更新所述操作信息；步驟d，根據(jù)所述并行參數(shù)表執(zhí)行帶有更新后的所述操作信息的所述ETL過程腳本文件，實(shí)現(xiàn)ETL過程的并行；所述裝置包括與各個步驟相對應(yīng)的輸出模塊、第一運(yùn)行模塊、分析模塊和第二運(yùn)行模塊。這樣，就可以為各種不同的ETL過程自動提供并行方法，加快了ETL過程的執(zhí)行速度。

技術(shù)領(lǐng)域

本發(fā)明涉及企業(yè)商業(yè)智能平臺數(shù)據(jù)倉庫構(gòu)建技術(shù)領(lǐng)域，具體涉及一種ETL過程并行決策方法及裝置。

背景技術(shù)

隨著網(wǎng)絡(luò)的興起與飛速發(fā)展，大量的信息和數(shù)據(jù)迎面而來，用科學(xué)的方法去收集和整理數(shù)據(jù)，從而從不同視角對企業(yè)經(jīng)營各方面信息的精確分析、準(zhǔn)確判斷受到了各大企業(yè)的關(guān)注。商業(yè)智能技術(shù)提供使企業(yè)迅速分析數(shù)據(jù)的技術(shù)和方法，包括收集、管理和分析數(shù)據(jù)，將數(shù)據(jù)轉(zhuǎn)化為有用的信息，將企業(yè)中現(xiàn)有的數(shù)據(jù)轉(zhuǎn)化為知識，幫助企業(yè)做出經(jīng)營決策。商業(yè)智能技術(shù)具體包括了數(shù)據(jù)倉庫、聯(lián)機(jī)分析處理(OLAP)和數(shù)據(jù)挖掘等技術(shù)。

數(shù)據(jù)倉庫技術(shù)(Data Warehousing)是基于信息系統(tǒng)業(yè)務(wù)發(fā)展的需要，基于數(shù)據(jù)庫系統(tǒng)技術(shù)發(fā)展而來，并逐步獨(dú)立的一系列新的應(yīng)用技術(shù)。數(shù)據(jù)倉庫就是面向主題的、集成的、相對穩(wěn)定的、隨時間不斷變化(不同時間)的數(shù)據(jù)集合，用以支持經(jīng)營管理中的決策制定過程。數(shù)據(jù)倉庫中的數(shù)據(jù)面向主題，與傳統(tǒng)數(shù)據(jù)庫面向應(yīng)用相對應(yīng)，主題是一個在較高層次上將數(shù)據(jù)歸類的標(biāo)準(zhǔn)，每一個主題對應(yīng)一個宏觀的分析領(lǐng)域：數(shù)據(jù)倉庫的集成特性是指在數(shù)據(jù)進(jìn)入數(shù)據(jù)倉庫之前，必須經(jīng)過數(shù)據(jù)加工和集成，這是建立數(shù)據(jù)倉庫的關(guān)鍵步驟，首先要統(tǒng)一原始數(shù)據(jù)中的矛盾之處，還要將原始數(shù)據(jù)結(jié)構(gòu)做一個從面向應(yīng)用向面向主題的轉(zhuǎn)變。

ETL指在構(gòu)建數(shù)據(jù)倉庫過程中對數(shù)據(jù)源中數(shù)據(jù)進(jìn)行抽取、轉(zhuǎn)換和加載到數(shù)據(jù)倉庫的過程。隨著數(shù)據(jù)倉庫系統(tǒng)的不斷升級，數(shù)據(jù)倉庫中的數(shù)量和企業(yè)對即時、準(zhǔn)確、可靠數(shù)據(jù)的需求也與日俱增。數(shù)據(jù)倉庫構(gòu)建的ETL過程需要處理的數(shù)據(jù)量越來越大，面對 不同的主題的數(shù)據(jù)倉庫的構(gòu)建，需要不同的ETL過程。為了實(shí)現(xiàn)ETL過程的加速運(yùn)行，為每一個ETL過程配置并行文件使得ETL過程開發(fā)變得復(fù)雜。

因此，如何為ETL過程自動配置并行方法進(jìn)而提高ETL過程的速度成為了當(dāng)前需要首要解決的問題。

鑒于上述缺陷，本發(fā)明創(chuàng)作者經(jīng)過長時間的研究和試驗(yàn)終于提出了一種ETL過程并行決策方法及裝置。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種ETL過程并行決策方法及裝置，用以克服上述技術(shù)缺陷。

為實(shí)現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案在于：首先提供一種ETL過程并行決策方法，其包括：

步驟a，輸出帶有操作信息的ETL過程腳本文件并初始化并行參數(shù)表；

步驟b，執(zhí)行帶有所述操作信息的所述ETL過程腳本文件并將執(zhí)行信息記錄在所述并行參數(shù)表中；

步驟c，分析所述并行參數(shù)表并為每個操作的并行方式做決策，將決策結(jié)果寫入所述并行參數(shù)表中，更新所述操作信息；

步驟d，根據(jù)所述并行參數(shù)表執(zhí)行帶有更新后的所述操作信息的所述ETL過程腳本文件，實(shí)現(xiàn)ETL過程的并行。

其中，所述步驟a中，所述操作信息包括：是否統(tǒng)計、統(tǒng)計字段的信息。

其中，所述步驟d中，所述操作信息包括：是否統(tǒng)計、統(tǒng)計字段、執(zhí)行時間、字段行數(shù)、是否并行、并行方式和并行的拷貝數(shù)。

其中，步驟a包括：

步驟a1，將所述ETL過程腳本文件劃分成操作，對同一個字段或同一組字段的修改看作一個操作；