[發(fā)明專利]一種ETL作業(yè)關(guān)系圖的轉(zhuǎn)化方法及其實(shí)現(xiàn)系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201210476820.9
• 申請(qǐng)日: 2012-11-20
• 公開(kāi)（公告）號(hào): CN103019691A
• 公開(kāi)（公告）日: 2013-04-03
• 發(fā)明（設(shè)計(jì)）人: 洪永;秦鵬;譚領(lǐng)
• 申請(qǐng)（專利權(quán)）人: 北京思特奇信息技術(shù)股份有限公司
• 主分類號(hào): G06F9/44
• 分類號(hào): G06F9/44
• 代理公司: 北京輕創(chuàng)知識(shí)產(chǎn)權(quán)代理有限公司 11212
• 代理人: 楊立

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)軟件領(lǐng)域，具體來(lái)說(shuō)是一種ETL作業(yè)關(guān)系圖的轉(zhuǎn)化方法及其實(shí)現(xiàn)系統(tǒng)。

背景技術(shù)

目前軟件行業(yè)中的ETL(Extract-Transform-Load，數(shù)據(jù)抽取、轉(zhuǎn)換、裝載)工具，對(duì)作業(yè)關(guān)系之間的描述是通過(guò)流程配置或者關(guān)系界面進(jìn)行配置的，作業(yè)之間的關(guān)系多為樹(shù)形關(guān)系，或者是觸發(fā)、依賴關(guān)系。對(duì)于觸發(fā)、依賴關(guān)系的任務(wù)，因?yàn)橐蕾囮P(guān)系和觸發(fā)關(guān)系，不是基于標(biāo)準(zhǔn)的樹(shù)性結(jié)構(gòu)或者層次結(jié)構(gòu)的，所以在ETL任務(wù)的依賴，觸發(fā)關(guān)系的圖形展示上沒(méi)有較好的解決方案。它主要存在以下兩個(gè)缺陷：

1.一般的ETL數(shù)據(jù)抽取、轉(zhuǎn)換、裝載軟件的展示都是通過(guò)使用者自己定義和繪制依賴，觸發(fā)關(guān)系圖，這樣的固然可以解決一些問(wèn)題，但是對(duì)于大量的任務(wù)作業(yè)進(jìn)行配置的時(shí)候，特別是電信，金融行業(yè)的邏輯關(guān)系，一般情況下會(huì)很多，很復(fù)雜。對(duì)使用者提出了較高的要求，并且造成了很多額外的工作量，需要進(jìn)行不必要的任務(wù)關(guān)系繪制；

2.提供快捷的多個(gè)邏輯關(guān)系的配置，但是在圖形展示上面，往往只實(shí)現(xiàn)了任務(wù)關(guān)系樹(shù)，或者表格數(shù)據(jù)的展示方式，對(duì)于開(kāi)發(fā)者來(lái)說(shuō)，在復(fù)雜的作業(yè)關(guān)系中提供的全部表格數(shù)據(jù)，如同大海撈針，參考意義基本不大，以至于使用者往往無(wú)法正確的觀察邏輯關(guān)系，而導(dǎo)致邏輯關(guān)系配置形成閉環(huán)。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問(wèn)題是提供一種ETL作業(yè)關(guān)系圖的轉(zhuǎn)化方法及其實(shí)現(xiàn)系統(tǒng)。

本發(fā)明解決上述技術(shù)問(wèn)題的技術(shù)方案如下：一種ETL作業(yè)關(guān)系圖的轉(zhuǎn)化方法,包括以下步驟：

步驟一，以一個(gè)當(dāng)前任務(wù)節(jié)點(diǎn)為中心，向后臺(tái)J2EE應(yīng)用開(kāi)發(fā)技術(shù)架構(gòu)請(qǐng)求與此當(dāng)前任務(wù)節(jié)點(diǎn)相關(guān)的任務(wù)關(guān)系數(shù)據(jù)；

步驟二，后臺(tái)接受請(qǐng)求后，采用前后深度遞歸的方式，逐層查找與所述當(dāng)前任務(wù)節(jié)點(diǎn)相關(guān)的邏輯關(guān)系，并將所述的邏輯關(guān)系保存成相應(yīng)的任務(wù)關(guān)系數(shù)據(jù)；

步驟三，將所述任務(wù)關(guān)系數(shù)據(jù)返回給前臺(tái)Flex詞法識(shí)別器，所述Flex是一款生成掃描器的工具，它能夠識(shí)別文本中的詞法模式；

步驟四，所述前臺(tái)接收所述任務(wù)關(guān)系數(shù)據(jù)，并將所述任務(wù)關(guān)系數(shù)據(jù)繪制成相應(yīng)的關(guān)系圖；

步驟五，選擇任一任務(wù)節(jié)點(diǎn)為下一個(gè)當(dāng)前任務(wù)節(jié)點(diǎn)，重復(fù)上述步驟一到步驟四，直至所有任務(wù)節(jié)點(diǎn)都進(jìn)行了步驟一到步驟四的操作。

本發(fā)明的有益效果是：隨著互聯(lián)網(wǎng)和計(jì)算機(jī)的快速發(fā)展和大量的普及，導(dǎo)致各個(gè)行業(yè)的數(shù)據(jù)量都出現(xiàn)了幾何數(shù)的增長(zhǎng)，同時(shí)也導(dǎo)致了在大量的冗余數(shù)據(jù)和數(shù)據(jù)的不一致，而且這些數(shù)據(jù)越來(lái)越難訪問(wèn)、管理和用于用戶決策支持。需要解決這些分散、孤島數(shù)據(jù)，勢(shì)必要建立數(shù)據(jù)倉(cāng)庫(kù)，在數(shù)據(jù)倉(cāng)庫(kù)建設(shè)的過(guò)程中ETL數(shù)據(jù)抽取、轉(zhuǎn)換、裝載工作是必不可少的一部分，而ETL數(shù)據(jù)抽取、轉(zhuǎn)換、裝載過(guò)程中最大、最繁瑣、最耗時(shí)，耗力的一部分工作就是建立不同的ETL數(shù)據(jù)抽取、轉(zhuǎn)換、裝載任務(wù)之間的關(guān)系。在關(guān)系的建立和以后的管理過(guò)程中，對(duì)邏輯關(guān)系的圖形化就有了很多變的要求，只有這樣使用者才可以根據(jù)自己的意愿觀察不同層級(jí)和不同角度的邏輯關(guān)系圖，從而提高工作效率，減少配置中的失誤，加快ETL數(shù)據(jù)抽取、轉(zhuǎn)換、裝載和數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)。

在上述技術(shù)方案的基礎(chǔ)上，本發(fā)明還可以做如下改進(jìn)：

進(jìn)一步，所述邏輯關(guān)系以可擴(kuò)展標(biāo)記語(yǔ)言的形式保存成任務(wù)關(guān)系數(shù)據(jù)并返回給所述前臺(tái)，所述前臺(tái)接收所述任務(wù)關(guān)系數(shù)據(jù)后對(duì)其進(jìn)行解析并繪制相應(yīng)的關(guān)系圖。

進(jìn)一步，確定當(dāng)前任務(wù)節(jié)點(diǎn)后設(shè)定所述關(guān)系圖的樣式參數(shù)，所述關(guān)系圖的樣式根據(jù)所述參數(shù)的變化而變化。

進(jìn)一步，所述參數(shù)包括圖形布局的選擇、所述任務(wù)節(jié)點(diǎn)的樣式、所述任務(wù)節(jié)點(diǎn)之間的連接線樣式。

進(jìn)一步，所述關(guān)系圖的繪制包括任務(wù)節(jié)點(diǎn)的繪制，連接線的繪制，連接線樣式的繪制以及布局調(diào)整。

采用上述進(jìn)一步方案的有益效果是，用戶可以快速大量的配置邏輯關(guān)系，基于一個(gè)任務(wù)為中心，自動(dòng)生成不同層次結(jié)構(gòu)，不同區(qū)間的邏輯關(guān)系圖，使用者可以根據(jù)不同的觀察模式以及參數(shù)的設(shè)定對(duì)生成的邏輯關(guān)系圖進(jìn)行重繪，并展示具有層次結(jié)構(gòu)的樹(shù)形關(guān)系圖。

一種實(shí)現(xiàn)ETL作業(yè)關(guān)系圖轉(zhuǎn)化的系統(tǒng)，它包括數(shù)據(jù)輸入模塊，用于輸入關(guān)系圖的樣式參數(shù)和當(dāng)前任務(wù)節(jié)點(diǎn)的選擇，并向數(shù)據(jù)處理模塊請(qǐng)求與此當(dāng)前任務(wù)節(jié)點(diǎn)相關(guān)的任務(wù)關(guān)系數(shù)據(jù)；

數(shù)據(jù)處理模塊，用于接收上述的請(qǐng)求，查找與所述當(dāng)前任務(wù)節(jié)點(diǎn)相關(guān)的邏輯關(guān)系，并將所述的邏輯關(guān)系封裝成相應(yīng)的任務(wù)關(guān)系數(shù)據(jù)返回給數(shù)據(jù)顯示模塊；

數(shù)據(jù)顯示模塊，用于接收和解析所述的任務(wù)關(guān)系數(shù)據(jù)，并將所述任務(wù)關(guān)系數(shù)據(jù)繪制成相應(yīng)的關(guān)系圖。