[發(fā)明專利]一種實現(xiàn)數(shù)據(jù)抽取轉(zhuǎn)換加載ETL的方法及裝置

有效

• 申請?zhí)枺?/td>: 201611071753.7
• 申請日: 2016-11-28
• 公開（公告）號: CN108121719B
• 公開（公告）日: 2020-06-30
• 發(fā)明（設(shè)計）人: 湯衛(wèi)群
• 申請（專利權(quán)）人: 北京國雙科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 柳欣;王寶筠

1.一種實現(xiàn)數(shù)據(jù)抽取轉(zhuǎn)換加載ETL的方法，其特征在于，所述方法包括：

獲得用戶配置文件的指定標識，根據(jù)所述指定標識確定指定的用戶配置文件；

利用所述指定的用戶配置文件重新執(zhí)行數(shù)據(jù)抽取轉(zhuǎn)換加載ETL操作，生成第二數(shù)據(jù)文件；

在第一數(shù)據(jù)文件中查找所述指定標識對應(yīng)的數(shù)據(jù)部分，在所述第一數(shù)據(jù)文件中將所述指定標識對應(yīng)的數(shù)據(jù)部分替換為所述第二數(shù)據(jù)文件內(nèi)的數(shù)據(jù)，生成第三數(shù)據(jù)文件，其中所述第一數(shù)據(jù)文件是利用全部用戶配置文件執(zhí)行數(shù)據(jù)抽取轉(zhuǎn)換加載ETL操作后生成的；

在所述第一數(shù)據(jù)文件的保存路徑下將原有的第一數(shù)據(jù)文件刪除，將所述第三數(shù)據(jù)文件作為更新后的第一數(shù)據(jù)文件保存。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

獲得原始用戶行為數(shù)據(jù)表；

在利用所述指定的用戶配置文件重新執(zhí)行數(shù)據(jù)抽取轉(zhuǎn)換加載ETL操作的過程中將所述原始用戶行為數(shù)據(jù)表更新為第二用戶行為數(shù)據(jù)表；

在第一用戶行為數(shù)據(jù)表中查找所述指定標識對應(yīng)的第一數(shù)據(jù)部分，在所述第二用戶行為數(shù)據(jù)表中查找所述指定標識對應(yīng)的第二數(shù)據(jù)部分，在所述第一用戶行為數(shù)據(jù)表中將所述第一數(shù)據(jù)部分替換為所述第二數(shù)據(jù)部分，其中所述第一用戶行為數(shù)據(jù)表是利用全部用戶配置文件執(zhí)行數(shù)據(jù)抽取轉(zhuǎn)換加載ETL操作的過程中對所述原始用戶行為數(shù)據(jù)表進行更新獲取的。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

獲得指定時間段；

所述利用所述指定的用戶配置文件重新執(zhí)行數(shù)據(jù)抽取轉(zhuǎn)換加載ETL操作，生成第二數(shù)據(jù)文件，包括：

確定處于所述指定時間段內(nèi)的所述指定的用戶配置文件；

利用所述指定時間段內(nèi)的所述指定的用戶配置文件重新執(zhí)行數(shù)據(jù)抽取轉(zhuǎn)換加載ETL操作，生成第二數(shù)據(jù)文件。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述方法還包括：

獲得原始用戶行為數(shù)據(jù)表以及在所述指定時間段之前一次的所述原始用戶行為數(shù)據(jù)表的快照表；

在利用所述指定時間段內(nèi)的所述指定的用戶配置文件重新執(zhí)行數(shù)據(jù)抽取轉(zhuǎn)換加載ETL操作的過程中將所述原始用戶行為數(shù)據(jù)表的快照表更新為第二用戶行為數(shù)據(jù)表；

在第一用戶行為數(shù)據(jù)表中查找所述指定標識對應(yīng)的第一數(shù)據(jù)部分，在所述第二用戶行為數(shù)據(jù)表中查找所述指定標識對應(yīng)的第二數(shù)據(jù)部分，在所述第一用戶行為數(shù)據(jù)表中將所述第一數(shù)據(jù)部分替換為所述第二數(shù)據(jù)部分，其中所述第一用戶行為數(shù)據(jù)表是利用全部用戶配置文件執(zhí)行數(shù)據(jù)抽取轉(zhuǎn)換加載ETL操作的過程中對所述原始用戶行為數(shù)據(jù)表進行更新獲取的。

5.一種實現(xiàn)數(shù)據(jù)抽取轉(zhuǎn)換加載ETL的裝置，其特征在于，所述裝置包括：

確定單元，用于獲得用戶配置文件的指定標識，根據(jù)所述指定標識確定指定的用戶配置文件；

執(zhí)行單元，用于利用所述指定的用戶配置文件重新執(zhí)行數(shù)據(jù)抽取轉(zhuǎn)換加載ETL操作，生成第二數(shù)據(jù)文件；

合并單元，用于在第一數(shù)據(jù)文件中查找所述指定標識對應(yīng)的數(shù)據(jù)部分，在所述第一數(shù)據(jù)文件中將所述指定標識對應(yīng)的數(shù)據(jù)部分替換為所述第二數(shù)據(jù)文件內(nèi)的數(shù)據(jù)，生成第三數(shù)據(jù)文件，其中所述第一數(shù)據(jù)文件是利用全部用戶配置文件執(zhí)行數(shù)據(jù)抽取轉(zhuǎn)換加載ETL操作后生成的；

第一替換單元，用于在所述第一數(shù)據(jù)文件的保存路徑下將原有的第一數(shù)據(jù)文件刪除，將所述第三數(shù)據(jù)文件作為更新后的第一數(shù)據(jù)文件保存。

6.根據(jù)權(quán)利要求5所述的裝置，其特征在于，所述裝置還包括：

第一獲得單元，用于獲得原始用戶行為數(shù)據(jù)表；

第一更新單元，用于在所述執(zhí)行單元利用所述指定的用戶配置文件重新執(zhí)行數(shù)據(jù)抽取轉(zhuǎn)換加載ETL操作的過程中將所述原始用戶行為數(shù)據(jù)表更新為第二用戶行為數(shù)據(jù)表；

第二替換單元，用于在第一用戶行為數(shù)據(jù)表中查找所述指定標識對應(yīng)的第一數(shù)據(jù)部分，在所述第二用戶行為數(shù)據(jù)表中查找所述指定標識對應(yīng)的第二數(shù)據(jù)部分，在所述第一用戶行為數(shù)據(jù)表中將所述第一數(shù)據(jù)部分替換為所述第二數(shù)據(jù)部分，其中所述第一用戶行為數(shù)據(jù)表是利用全部用戶配置文件執(zhí)行數(shù)據(jù)抽取轉(zhuǎn)換加載ETL操作的過程中對所述原始用戶行為數(shù)據(jù)表進行更新獲取的。