[發明專利]基于數據倉庫的數據血緣關系處理方法及裝置

在審

• 申請號: 202210085894.3
• 申請日: 2022-01-25
• 公開（公告）號: CN114416848A
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 白迪
• 申請（專利權）人: 建信融通有限責任公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/28;G06F40/30
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 李慧引

1.一種基于數據倉庫的數據血緣關系處理方法，其特征在于，包括：

獲取數據倉庫中所包含的工作集以及ETL任務；

利用預設的正則表達式，從所述工作集的字符信息中獲取得到各個所述工作集之間的包含關系，以及所述工作集和所述ETL任務之間的包含關系；

對所述工作集的字符信息進行解析，得到各個所述ETL任務之間的依賴關系；

對所述ETL任務進行解析，得到所述ETL任務所包含的各個組件；

對每個所述組件進行解析，得到每個所述組件中所包含的各個庫表、各個所述庫表之間的依賴關系、各個字段、各個所述字段之間的依賴關系；

基于每個所述組件所包含的各個所述庫表之間的依賴關系，構建所述數據倉庫中各個所述庫表之間的依賴關系；

基于每個所述組件所包含的各個所述字段之間的依賴關系，構建所述數據倉庫中各個所述字段之間的依賴關系；

基于所述ETL任務中所包含的各個所述庫表，生成所述ETL任務和所述庫表之間的包含關系；

獲取每個所述庫表所包含的字段，并基于每個所述庫表所包含的字段，生成所述庫表和所述字段之間的包含關系；

獲取各個所述庫表的有效詞語集合，并基于各個所述庫表的有效詞語集合，確定各個所述庫表之間的語義近似關系。

2.根據權利要求1所述的方法，其特征在于，所述獲取數據倉庫中所包含的工作集以及ETL任務，包括：

從預先構建的第三信息表中獲取數據倉庫中所包含的工作集以及ETL任務；

其中，所述第三信息表的構建過程包括：獲取所述數據倉庫的各個項目文件；將各個所述項目文件中文件后綴名為.kjb的項目文件，標識為所述工作集，以及將文件后綴名為.ktr的項目文件，標識為所述ETL任務；基于各個所述工作集以及所述ETL任務，構建所述第三信息表。

3.根據權利要求1所述的方法，其特征在于，所述利用預設的正則表達式，從所述工作集的字符信息中獲取得到各個所述工作集之間的包含關系，以及所述工作集和所述ETL任務之間的包含關系，包括：

從所述工作集的字符信息中，獲取與第一正則表達式匹配的字符串；

從與所述第一正則表達式匹配的字符串中，獲取與第二正則表達式匹配的字符串；

從工作集的字符信息中，獲取與第三正則表達式匹配的字符串；

從與所述第二正則表達式匹配的字符串中，獲取與第四正則表達式匹配的字符串，并從與所述第四正則表達式匹配的字符串中，解析得到所述工作集所包含的其他工作集；

從與所述第三正則表達式匹配的字符串中，獲取與第五正則表達式匹配的字符串，并從與所述第五正則表達式匹配的字符串中，解析得到所述工作集所包含的ETL任務；

基于每個所述工作集所包含的其他工作集，生成各個所述工作集之間的包含關系；

基于每個所述工作集所包含的ETL任務，生成所述工作集和所述ETL任務之間的包含關系。

4.根據權利要求1所述的方法，其特征在于，所述對所述工作集的字符信息進行解析，得到各個所述ETL任務之間的依賴關系，包括：

從所述工作集的字符信息中，獲取與第一關鍵字匹配的字符串；

從與所述第一關鍵字匹配的字符串中，獲取與第二關鍵字匹配的字符串；

從與所述第二關鍵字匹配的字符串中，解析得到源任務的名稱，以及依賴于所述源任務的目標任務的名稱；

從所述工作集的字符信息中，獲取與第三關鍵字匹配的字符串；

從與所述第三關鍵字匹配的字符串中，解析得到各個文件路徑；

從各個所述文件路徑中獲取包含有所述源任務的名稱的文件路徑，以及包含有所述目標任務的名稱的文件路徑；

根據包含有所述源任務的名稱的文件路徑，查詢得到與所述源任務對應的ETL任務；

根據包含有所述目標任務的名稱的文件路徑，查詢得到與所述目標任務對應的ETL任務；

基于所述源任務和所述目標任務之間的依賴關系、與所述源任務對應的ETL任務、與所述目標任務對應的ETL任務，生成各個ETL任務之間的依賴關系。