[發(fā)明專利]事件驅(qū)動提取、變換、加載（ETL）處理

在審

• 申請?zhí)枺?/td>: 201780073040.0
• 申請日: 2017-11-27
• 公開（公告）號: CN109997126A
• 公開（公告）日: 2019-07-09
• 發(fā)明（設(shè)計）人: G·S·邁弗爾森;M·A·沙赫;P·D·達姆萊;G·杜迪;A·W·古普塔
• 申請（專利權(quán)）人: 亞馬遜科技公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 中國國際貿(mào)易促進委員會專利商標事務所 11038
• 代理人: 鄒丹

1.一種系統(tǒng)，其包括：

至少一個處理器；

存儲器，其用于存儲程序指令，所述程序指令在被執(zhí)行的情況下使所述至少一個處理器執(zhí)行方法，所述方法包括：

檢測觸發(fā)事件以執(zhí)行提取、變換、加載(ETL)過程，所述ETL過程包括要應用于存儲在第一數(shù)據(jù)存儲庫中的源數(shù)據(jù)對象的一種或多種變換；

評估所述觸發(fā)事件以確定所述觸發(fā)事件是否滿足用于所述ETL過程的一個或多個執(zhí)行標準；

響應于確定所述觸發(fā)事件滿足所述執(zhí)行標準：

從所述第一數(shù)據(jù)存儲庫獲得所述源數(shù)據(jù)對象的至少一部分；

根據(jù)所述ETL過程將所述一種或多種變換應用于所述源數(shù)據(jù)對象的所述獲得部分，以生成一個或多個變換的數(shù)據(jù)對象；并且

將所述變換的數(shù)據(jù)對象存儲在第二數(shù)據(jù)存儲庫中。

2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中所述方法還包括：

接收注冊所述ETL過程的所述觸發(fā)事件的請求；以及

根據(jù)所述觸發(fā)事件的所述注冊啟用對所述觸發(fā)事件的監(jiān)測，其中所述監(jiān)測檢測所述觸發(fā)事件。

3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中檢測所述觸發(fā)事件以執(zhí)行所述ETL過程包括檢測所述源數(shù)據(jù)對象的數(shù)據(jù)目錄的更新。

4.根據(jù)權(quán)利要求3所述的系統(tǒng)，其中所述至少一個處理器和所述存儲器實施為由提供商網(wǎng)絡(luò)提供的ETL服務的部分，其中所述數(shù)據(jù)目錄被維持作為所述ETL服務的部分，其中經(jīng)由用于所述ETL服務的基于網(wǎng)絡(luò)的接口接收所述數(shù)據(jù)目錄的所述更新，并且其中所述第一數(shù)據(jù)庫和所述第二數(shù)據(jù)存儲庫實施為由所述提供商網(wǎng)絡(luò)提供的一個或多個數(shù)據(jù)存儲服務的部分。

5.一種方法，其包括：

檢測觸發(fā)事件以執(zhí)行提取、變換、加載(ETL)過程，所述ETL過程包括要應用于存儲在第一數(shù)據(jù)存儲庫中的源數(shù)據(jù)對象的一種或多種變換；

評估所述觸發(fā)事件以確定所述觸發(fā)事件是否滿足用于所述ETL過程的一個或多個執(zhí)行標準；

響應于確定所述觸發(fā)事件滿足所述執(zhí)行標準：

從所述第一數(shù)據(jù)存儲庫獲得所述源數(shù)據(jù)對象的至少一部分；

根據(jù)所述ETL過程將所述一種或多種變換應用于所述源數(shù)據(jù)對象的所述獲得部分，以生成一個或多個變換的數(shù)據(jù)對象；并且

將所述變換的數(shù)據(jù)對象存儲在第二數(shù)據(jù)存儲庫中。

6.根據(jù)權(quán)利要求5所述的方法，其中所述方法還包括：

接收注冊所述ETL過程的所述觸發(fā)事件的請求；以及

根據(jù)所述觸發(fā)事件的所述注冊啟用對所述觸發(fā)事件的監(jiān)測，其中所述監(jiān)測檢測所述觸發(fā)事件。

7.根據(jù)權(quán)利要求5所述的方法，其中所述ETL過程的所述觸發(fā)事件指示所述源數(shù)據(jù)對象是存儲在所述第一數(shù)據(jù)存儲庫中的新數(shù)據(jù)對象。

8.根據(jù)權(quán)利要求5所述的方法，其中檢測所述觸發(fā)事件以執(zhí)行所述ETL過程包括檢測所述源數(shù)據(jù)對象的數(shù)據(jù)目錄的更新。

9.根據(jù)權(quán)利要求5所述的方法，其中評估所述觸發(fā)事件包括確定所述源數(shù)據(jù)對象的標記屬性是否與允許執(zhí)行所述ETL處理的一個或多個標記的屬性值匹配。

10.根據(jù)權(quán)利要求5所述的方法，其中評估所述觸發(fā)事件包括相對于所述一個或多個執(zhí)行標準的數(shù)據(jù)值標準評估所述源數(shù)據(jù)對象的一個或多個數(shù)據(jù)值。

11.根據(jù)權(quán)利要求5所述的方法，其中評估所述觸發(fā)事件包括評估針對所述源數(shù)據(jù)對象或另一數(shù)據(jù)對象執(zhí)行的先前啟動的ETL過程的狀態(tài)。

12.根據(jù)權(quán)利要求5所述的方法，其中所述一個或多個執(zhí)行標準是相對于所述觸發(fā)事件評估的多個執(zhí)行標準中的一些，其中相對于所述觸發(fā)事件，所述多個執(zhí)行標準中的至少一個不滿足。