[發(fā)明專利]數(shù)據(jù)模型構建、ETL作業(yè)執(zhí)行方法、裝置及終端設備

在審

• 申請?zhí)枺?/td>: 202010846501.7
• 申請日: 2020-08-20
• 公開（公告）號: CN114077632A
• 公開（公告）日: 2022-02-22
• 發(fā)明（設計）人: 楊澤森
• 申請（專利權）人: 京東科技控股股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/242;G06F16/2453
• 代理公司: 北京華夏泰和知識產(chǎn)權代理有限公司 11662
• 代理人: 盧萬騰;王衛(wèi)忠

1.一種數(shù)據(jù)模型構建方法，其特征在于，所述方法包括：

獲取至少一個源數(shù)據(jù)表中的預設數(shù)據(jù)內容，以及至少一個所述源數(shù)據(jù)表之間的關聯(lián)關系；

根據(jù)所述預設數(shù)據(jù)內容，以及所述關聯(lián)關系，生成數(shù)據(jù)模型構建腳本；

運行所述數(shù)據(jù)模型構建腳本，自動構建所述數(shù)據(jù)模型。

2.根據(jù)權利要求1所述的方法，其特征在于，所述獲取至少一個源數(shù)據(jù)表中的預設數(shù)據(jù)內容，具體包括：

獲取預配置的第一類關鍵字、第二類關鍵字，以及過濾條件；

當根據(jù)所述第一類關鍵字、所述第二類關鍵字，以及所述過濾條件，確定預構建的數(shù)據(jù)庫中存儲有所述預設數(shù)據(jù)內容時，直接從所述預構建的數(shù)據(jù)庫中調用所述預設數(shù)據(jù)內容；

或者，當根據(jù)所述第一類關鍵字、所述第二類關鍵字，以及所述過濾條件，確定所述預構建的數(shù)據(jù)庫中并未存儲所述預設數(shù)據(jù)內容時，所述方法還包括獲取預配置的過濾條件；

根據(jù)預獲取的第一類關鍵字，從數(shù)據(jù)倉庫中匹配與所述第一類關鍵字對應的至少一個源數(shù)據(jù)表；

根據(jù)預獲取的第二類關鍵字，以及所述過濾條件，從至少一個所述源數(shù)據(jù)表中提取預設數(shù)據(jù)內容，其中，所述第一類關鍵字為與所述源數(shù)據(jù)表對應的第一標識信息，所述第二類關鍵字為與所述源數(shù)據(jù)表中的預設字段屬性信息。

3.根據(jù)權利要求1所述的方法，其特征在于，所述根據(jù)所述預設數(shù)據(jù)內容，以及所述關聯(lián)關系，生成數(shù)據(jù)模型構建腳本之后，所述方法還包括：

將所述數(shù)據(jù)模型構建腳本進行展示，以便工作人員對所述數(shù)據(jù)模型構建腳本進行查驗或修正。

4.根據(jù)權利要求1-3任一項所述的方法，其特征在于，所述運行所述數(shù)據(jù)模型構建腳本，自動構建所述數(shù)據(jù)模型之前，所述方法還包括：

自動校驗所述數(shù)據(jù)模型構建腳本，并將校驗結果進行展示。

5.根據(jù)權利要求1-3任一項所述的方法，其特征在于，所述運行所述數(shù)據(jù)模型構建腳本，自動構建所述數(shù)據(jù)模型之后，所述方法還包括：

生成所述數(shù)據(jù)模型與至少一個所述源數(shù)據(jù)表之間的父子依賴關系，以便后續(xù)根據(jù)所述數(shù)據(jù)模型與至少一個所述源數(shù)據(jù)表之間的父子依賴關系，確定所述數(shù)據(jù)模型對應的第一ETL作業(yè)和至少一個所述源數(shù)據(jù)表對應的第二ETL作業(yè)之間的父子依賴關系。

6.一種ETL作業(yè)執(zhí)行方法，其特征在于，所述方法包括：

采用如權利要求1-4任一項所述的數(shù)據(jù)模型構建方法生成的數(shù)據(jù)模型，配置與所述數(shù)據(jù)模型對應的第一ETL作業(yè)；

獲取預生成的所述第一ETL作業(yè)，與多個第二ETL作業(yè)之間的第一父子依賴關系，其中，所述第一父子依賴關系根據(jù)所述數(shù)據(jù)模型與至少一個源數(shù)據(jù)表之間的第二父子依賴關系確定；

根據(jù)所述第一父子依賴關系，測試所述第一ETL作業(yè)和多個所述第二ETL作業(yè)之間的協(xié)同運行狀態(tài)；

當所述協(xié)同運行狀態(tài)滿足預設要求時，正式上線運行，以完成ETL作業(yè)的自動加工過程。

7.一種數(shù)據(jù)模型構建裝置，其特征在于，所述裝置包括：

獲取單元，用于獲取至少一個源數(shù)據(jù)表中的預設數(shù)據(jù)內容，以及至少一個所述源數(shù)據(jù)表之間的關聯(lián)關系；

腳本生成單元，用于根據(jù)所述預設數(shù)據(jù)內容，以及所述關聯(lián)關系，生成數(shù)據(jù)模型構建腳本；

運行單元，用于運行所述數(shù)據(jù)模型構建腳本，自動構建所述數(shù)據(jù)模型。

8.一種ETL作業(yè)執(zhí)行裝置該裝置，其特征在于，所述裝置包括：

配置單元，采用如第一方面任一實時方式所介紹的方法生成的數(shù)據(jù)模型，配置與所述數(shù)據(jù)模型對應的第一ETL作業(yè)；

獲取單元，用于獲取預生成的所述第一ETL作業(yè)，與多個第二ETL作業(yè)之間的第一父子依賴關系，其中，所述第一父子依賴關系根據(jù)所述數(shù)據(jù)模型與至少一個源數(shù)據(jù)表之間的第二父子依賴關系確定；

測試單元，用于根據(jù)所述第一父子依賴關系，測試所述第一ETL作業(yè)和多個所述第二ETL作業(yè)之間的協(xié)同運行狀態(tài)；

運行單元，用于當所述協(xié)同運行狀態(tài)滿足預設要求時，正式上線運行，以完成ETL作業(yè)的自動加工過程。