[發明專利]一種構建數據倉庫標準層的方法和系統

在審

• 申請號: 202210749186.5
• 申請日: 2022-06-29
• 公開（公告）號: CN115510021A
• 公開（公告）日: 2022-12-23
• 發明（設計）人: 楊立才;邵宏力;胡超;劉磊;李云;鄧知知
• 申請（專利權）人: 江蘇昆山農村商業銀行股份有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/25;G06F16/28;G06F16/36
• 代理公司: 國浩律師(南京)事務所 32284
• 代理人: 孟睿

1.一種構建數據倉庫標準層的方法，其特征在于，標準層包括表模型和字段模型；

對于數據庫中各表，確定其是否為孤島表，將非孤島表作為表模型進放入標準層；所述孤島表是指該表與其他表不存在外鍵關系；

對于數據庫中各表的字段，確定其是否為主數據字段；當該字段為主數據字段時，該字段放入標準層；當該字段不是主數據字段時，如果其字段特征中的填充率大于閾值且為非默認值時，將該字段放入標準層；

當分析數據類型與原始類型不一致時，字段類型判斷數據比例為100％時推薦轉換類型；如果為碼值字段，則推薦進行配置碼值轉換的規則。

2.如權利要求1所述的構建數據倉庫標準層的方法，其特征在于，通過表級知識圖譜確定數據庫中各表是否為孤島表；

所述表級知識圖譜是指將各表以及各表之間的外鍵關系以可視化的圖結構展示的知識圖譜；所述表級知識圖譜包括節點和邊，每一個節點代表一張表，每一條邊代表一種外鍵關系；

通過表級知識圖譜中各節點之間是否存在邊來確定對應的表是否存在外鍵關系，當某一節點于其他任何節點不存在邊時，該節點代表的表為孤島表。

3.如權利要求1所述的構建數據倉庫標準層的方法，其特征在于，通過字段級知識圖譜確定數據庫中各表的字段是否為主數據字段；

所述字段級知識圖譜是指將各表的字段、表間關系以可視化的圖結構形式展示的知識圖譜；所述字段級知識圖譜包括節點和邊，每一個節點代表一個字段，每一條邊代表一種字段間關系；所述表間關系體現為來自不同表的字段之間的關系，至少包括外鍵關系、數據相等或數據去空相等；

在確定主數據字段時，通過字段級知識圖譜找出表間關系為外鍵關系、數據相等或數據去空相等的兩個字段，且所述兩個字段的原始數據來源于不同的業務系統時，將該兩個字段作為主數據字段。

4.如權利要求2所述的構建數據倉庫標準層的方法，其特征在于，獲取所述表級知識圖譜的方法為：

獲取數據庫中各表所來自的業務系統、表名，以及各表中的字段名；

針對各表，根據表中字段的值，分析各字段的特征；以及針對各表，根據表名、字段名以及字段的值，計算獲得表內各字段之間的表內函數依賴關系；

針對各表，根據表內函數依賴關系識別出各表的主鍵，并根據所述主鍵的特征在其他表中尋找并確定與之對應的外鍵，在主鍵和外鍵之間形成外鍵關系；

將各表以及各表之間的外鍵關系以可視化的圖結構形式展示作為表級知識圖譜。

5.如權利要求3所述的構建數據倉庫標準層的方法，其特征在于，獲取字段級知識圖譜中所述表間關系的方法為：

通過表內函數依賴關系，確定外鍵所屬的表A，找到該外鍵字段的閉包，將閉包內字段去重后形成一張以該外鍵的字段為主鍵的臨時表B；

通過外鍵關系，將主鍵所在表C作為左表，以臨時表B作為右表，進行內連接形成一張新的臨時表D；

對臨時表D中各字段在表A和表C的值進行對比，以形成如下表間關系：

數據相等，即表A和表C之間字段在臨時表D中兩列數據完全相等；

數據去空相等，即表A和表C之間字段在臨時表D中兩列數據去除空值后相等。

6.一種構建數據倉庫標準層的系統，其特征在于，包括：

處理器；數據庫；以及存儲器，其中存儲有程序，數據庫存儲各表，

其中在所述處理器執行所述程序時，進行以下操作：

對于數據庫中各表，確定其是否為孤島表，將非孤島表作為表模型進放入標準層；所述孤島表是指該表與其他表不存在外鍵關系；

對于數據庫中各表的字段，確定其是否為主數據字段；當該字段為主數據字段時，該字段放入標準層；當該字段不是主數據字段時，如果其字段特征中的填充率大于閾值且為非默認值時，將該字段放入標準層；

當分析數據類型與原始類型不一致時，字段類型判斷數據比例為100％時推薦轉換類型；如果為碼值字段，則推薦進行配置碼值轉換的規則。