[發明專利]數據模型構建、ETL作業執行方法、裝置及終端設備

在審

• 申請號: 202010846501.7
• 申請日: 2020-08-20
• 公開（公告）號: CN114077632A
• 公開（公告）日: 2022-02-22
• 發明（設計）人: 楊澤森
• 申請（專利權）人: 京東科技控股股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/242;G06F16/2453
• 代理公司: 北京華夏泰和知識產權代理有限公司 11662
• 代理人: 盧萬騰;王衛忠

本發明實施例涉及一種數據模型構建、ETL作業執行方法、裝置及終端設備，該方法包括：獲取至少一個源數據表中的預設數據內容，以及至少一個源數據表之間的關聯關系；根據預設數據內容，以及關聯關系，生成數據模型構建腳本；運行數據模型構建腳本，自動構建數據模型。通過該種自動構建方式，不僅僅將數據架構師或數據模型的設計人員等從數據模型構建過程中解放出來，大大降低人工成本，而且還提高了構建數據模型效率。此外，由于構建數據模型的過程為自動構建過程，必然能夠保證程序腳本統一、規范。避免因為數據模型的構建過程，降低其他工作執行效率，甚至導致其他工作無法執行的情況發生。

技術領域

本發明實施例涉及計算機技術領域，尤其涉及一種數據模型構建、ETL作業執行方法、裝置及終端設備。

背景技術

業務中臺與數據中臺在大中型企業中來支持企業業務生產與數據決策分析，業務生產與企業決策分析的一個核心工作就是的數據模型建設，基于數據模型來實現業務信息的存儲、分析各類業務決策、風險管控、智能營銷等工作。

在企業的數據部門或者IT信息技術部門負責建設企業數據倉庫，支持企業數據統計分析工作。而在數據倉庫的數據模型建設過程中，有很重要的一個步驟就是設計數據模型的加工過程以及原始數據和模型的映射關系，該步驟行業中通常叫做數據倉庫模型的Mapping設計。該步驟由企業數據倉庫團隊的數據架構師或數據模型設計人員完成。

也正是由于需要數據架構師或數據模型的設計人員完成，其不僅影響了工作效率，而且還占用了人工成本。而且，目前人工編寫的數據模型構建程序存在程序腳本規范不夠統一、腳本質量參差不齊的情況。這種情況也會影響后續的工作執行效率，甚至會造成后續工作無法就行執行的情況發生。

發明內容

鑒于此，為解決現有技術中上述的技術問題，本發明實施例提供一種數據模型構建、ETL作業執行方法、裝置及終端設備。

第一方面，本發明實施例提供一種數據模型構建方法，該方法包括：

獲取至少一個源數據表中的預設數據內容，以及至少一個源數據表之間的關聯關系；

根據預設數據內容，以及關聯關系，生成數據模型構建腳本；

運行數據模型構建腳本，自動構建數據模型。

在一個可能的實施方式中，獲取至少一個源數據表中的預設數據內容，具體包括：

獲取預配置的第一類關鍵字、第二類關鍵字，以及過濾條件；

當根據第一類關鍵字、第二類關鍵字，以及過濾條件，確定預構建的數據庫中存儲有預設數據內容時，直接從預構建的數據庫中調用預設數據內容；

或者，當根據第一類關鍵字、第二類關鍵字，以及過濾條件，確定預構建的數據庫中并未存儲預設數據內容時，方法還包括獲取預配置的過濾條件；

根據預獲取的第一類關鍵字，從數據倉庫中匹配與第一類關鍵字對應的至少一個源數據表；

根據預獲取的第二類關鍵字，以及過濾條件，從至少一個源數據表中提取預設數據內容，其中，第一類關鍵字為與源數據表對應的第一標識信息，第二類關鍵字為與源數據表中的預設字段屬性信息。

在一個可能的實施方式中，根據預設數據內容，以及關聯關系，生成數據模型構建腳本之后，方法還包括：

將數據模型構建腳本進行展示，以便工作人員對數據模型構建腳本進行查驗或修正。

在一個可能的實施方式中，運行數據模型構建腳本，自動構建數據模型之前，方法還包括：

自動校驗數據模型構建腳本，并將校驗結果進行展示。

在一個可能的實施方式中，運行數據模型構建腳本，自動構建數據模型之后，方法還包括：