[發明專利]基于數據倉庫的數據血緣關系處理方法及裝置

在審

• 申請號: 202210085894.3
• 申請日: 2022-01-25
• 公開（公告）號: CN114416848A
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 白迪
• 申請（專利權）人: 建信融通有限責任公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/28;G06F40/30
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 李慧引

本申請公開了一種基于數據倉庫的數據血緣關系處理方法及裝置，利用預設的正則表達式，從工作集的字符信息中獲取得到各個工作集之間的包含關系，以及工作集和ETL任務之間的包含關系。對工作集的字符信息進行解析，得到各個ETL任務之間的依賴關系。對ETL任務進行解析，得到ETL任務所包含的各個組件。對每個組件進行解析，得到每個組件中所包含的各個庫表之間的依賴關系、各個字段之間的依賴關系?；诿總€組件所包含的各個庫表之間的依賴關系，構建數據倉庫中各個庫表之間的依賴關系。相較于現有技術，本申請所示方案無需人工參與數據血緣關系的解析過程，節省了大量的人力成本，且解析得到的數據血緣關系準確性更高、實時性更高。

技術領域

本申請涉及數據倉庫技術領域，尤其涉及一種基于數據倉庫的數據血緣關系處理方法及裝置。

背景技術

隨著企業的業務產品線不斷增多，底層數據記錄越來越復雜，企業級的數據倉庫建設變得更加重要。在數據倉庫的建設過程中，多人參與開發已成為常態，抽取-轉換-加載(Extraction-Transformation-Loading，ETL)任務也逐漸增長到數百個，維護起來會遇到很多難題，尤其是ETL任務和數據倉庫表(簡稱庫表)之間的數據血緣關系尤為復雜。

目前，數據倉庫的數據血緣關系一般都是由人工維護，即人工查詢ETL任務和庫表之間的血緣關系。明顯的，受限于人為因素，數據倉庫的數據血緣關系的查詢過程將會花費大量時間，其查詢效率較低、且較為容易出錯。

發明內容

本申請提供了一種基于數據倉庫的數據血緣關系處理方法及裝置，目的在于幫助用戶快速有效地獲悉數據倉庫中所包含的數據血緣關系。

為了實現上述目的，本申請提供了以下技術方案：

一種基于數據倉庫的數據血緣關系處理方法，包括：

獲取數據倉庫中所包含的工作集以及ETL任務；

利用預設的正則表達式，從所述工作集的字符信息中獲取得到各個所述工作集之間的包含關系，以及所述工作集和所述ETL任務之間的包含關系；

對所述工作集的字符信息進行解析，得到各個所述ETL任務之間的依賴關系；

對所述ETL任務進行解析，得到所述ETL任務所包含的各個組件；

對每個所述組件進行解析，得到每個所述組件中所包含的各個庫表、各個所述庫表之間的依賴關系、各個字段、各個所述字段之間的依賴關系；

基于每個所述組件所包含的各個所述庫表之間的依賴關系，構建所述數據倉庫中各個所述庫表之間的依賴關系；

基于每個所述組件所包含的各個所述字段之間的依賴關系，構建所述數據倉庫中各個所述字段之間的依賴關系；

基于所述ETL任務中所包含的各個所述庫表，生成所述ETL任務和所述庫表之間的包含關系；

獲取每個所述庫表所包含的字段，并基于每個所述庫表所包含的字段，生成所述庫表和所述字段之間的包含關系；

獲取各個所述庫表的有效詞語集合，并基于各個所述庫表的有效詞語集合，確定各個所述庫表之間的語義近似關系。

可選的，所述獲取數據倉庫中所包含的工作集以及ETL任務，包括：

從預先構建的第三信息表中獲取數據倉庫中所包含的工作集以及ETL任務；

其中，所述第三信息表的構建過程包括：獲取所述數據倉庫的各個項目文件；將各個所述項目文件中文件后綴名為.kjb的項目文件，標識為所述工作集，以及將文件后綴名為.ktr的項目文件，標識為所述ETL任務；基于各個所述工作集以及所述ETL任務，構建所述第三信息表。