[發(fā)明專利]一種ETL中數(shù)據(jù)流的傳遞方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201410671540.2
• 申請(qǐng)日: 2014-11-21
• 公開（公告）號(hào): CN104391929A
• 公開（公告）日: 2015-03-04
• 發(fā)明（設(shè)計(jì)）人: 潘博存
• 申請(qǐng)（專利權(quán)）人: 浪潮通用軟件有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 濟(jì)南信達(dá)專利事務(wù)所有限公司 37100
• 代理人: 姜明

1.一種ETL中數(shù)據(jù)流的傳遞方法，其特征在于，包括如下步驟：

步驟一：根據(jù)定義的ETL流程，確定每個(gè)環(huán)節(jié)的數(shù)據(jù)的流出方式；

步驟二：根據(jù)定義的ETL流程，確定每個(gè)環(huán)節(jié)執(zhí)行線程的個(gè)數(shù)；

步驟三：根據(jù)定義的ETL流程，確定每個(gè)環(huán)節(jié)的輸入和輸出隊(duì)列的最大數(shù)量；

步驟四：確定ETL流程中各個(gè)環(huán)節(jié)一次從隊(duì)列獲取或者放入的數(shù)據(jù)的條數(shù)；

步驟五：完成ETL流程的初始化以及ETL環(huán)節(jié)的創(chuàng)建及初始化；

步驟六：ETL流程中各個(gè)環(huán)節(jié)開始并行執(zhí)行，數(shù)據(jù)開始正常流轉(zhuǎn)；

步驟七：ETL各個(gè)執(zhí)行環(huán)節(jié)數(shù)據(jù)處理完畢后，陸續(xù)停止整個(gè)流程結(jié)束執(zhí)行。

2.如權(quán)利要求1所述ETL中數(shù)據(jù)流的傳遞方法，其特征在于，步驟一中，根據(jù)相鄰的環(huán)節(jié)的個(gè)數(shù)，以及每個(gè)環(huán)節(jié)需要處理的數(shù)據(jù)總數(shù)設(shè)置每個(gè)環(huán)節(jié)的數(shù)據(jù)流出方式是復(fù)制還是分發(fā)；復(fù)制時(shí)，根據(jù)該環(huán)節(jié)的直接后續(xù)環(huán)節(jié)的個(gè)數(shù)，將本環(huán)節(jié)的數(shù)據(jù)復(fù)制多份，分別放入后續(xù)環(huán)節(jié)的輸入隊(duì)列中；分發(fā)時(shí)，將該環(huán)節(jié)的所有輸出數(shù)據(jù)，按照后續(xù)環(huán)節(jié)的輸入隊(duì)列進(jìn)行循環(huán)，采用每個(gè)隊(duì)列分發(fā)一條的方式，進(jìn)行循環(huán)放入。

3.如權(quán)利要求1所述ETL中數(shù)據(jù)流的傳遞方法，其特征在于，步驟三中，根據(jù)本環(huán)節(jié)的處理的性能以及下一個(gè)環(huán)節(jié)處理數(shù)據(jù)的快慢，合理設(shè)置最大隊(duì)列。

4.如權(quán)利要求2或3所述ETL中數(shù)據(jù)流的傳遞方法，其特征在于，步驟五中，具體包括以下步驟：

根據(jù)整體流程定義，完成流程的初始化，形成該流程總的隊(duì)列；

根據(jù)ETL流程設(shè)計(jì)時(shí)定義，形成各個(gè)環(huán)節(jié)的實(shí)體，主要承載每個(gè)環(huán)節(jié)的配置；

根據(jù)流程定義，形成各個(gè)環(huán)節(jié)對(duì)應(yīng)的執(zhí)行器，用于各環(huán)節(jié)的真正執(zhí)行；

?將生成的隊(duì)列，根據(jù)規(guī)則分配到對(duì)應(yīng)的環(huán)節(jié)生成的執(zhí)行器上。

5.如權(quán)利要求4所述ETL中數(shù)據(jù)流的傳遞方法，其特征在于，步驟六中，各個(gè)環(huán)節(jié)之間采用各自的內(nèi)存隊(duì)列作為數(shù)據(jù)的中間存放載體，相互不干擾，采用隊(duì)列機(jī)制，使大量數(shù)據(jù)通過拆分的形式在各環(huán)節(jié)之間流轉(zhuǎn)。