[發明專利]一種構建數據倉庫標準層的方法和系統

在審

• 申請號: 202210749186.5
• 申請日: 2022-06-29
• 公開（公告）號: CN115510021A
• 公開（公告）日: 2022-12-23
• 發明（設計）人: 楊立才;邵宏力;胡超;劉磊;李云;鄧知知
• 申請（專利權）人: 江蘇昆山農村商業銀行股份有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/25;G06F16/28;G06F16/36
• 代理公司: 國浩律師(南京)事務所 32284
• 代理人: 孟睿

本發明涉及一種構建數據倉庫標準層的方法和系統。包括：標準層包括表模型和字段模型；對于數據庫中各表，確定其是否為孤島表，將非孤島表作為表模型進放入標準層；所述孤島表是指該表與其他表不存在外鍵關系；對于數據庫中各表的字段，確定其是否為主數據字段；當該字段為主數據字段時，該字段放入標準層；當該字段不是主數據字段時，如果其字段特征中的填充率大于閾值且為非默認值時，將該字段放入標準層；當分析數據類型與原始類型不一致時，字段類型判斷數據比例為100％時推薦轉換類型；如果為碼值字段，則推薦進行查看設置碼值轉換。本發明提高了數據標準化的程度。

技術領域

本發明屬于商業智能技術領域，具體涉及一種構建數據倉庫標準層的方法和系統。

背景技術

在數據倉庫、數據治理、數據湖等數據系統構建中，在數據入倉之前，都需要對數據進行標準化加工處理。在傳統的技術方案中，數據標準化操作都是采用對數據庫的PDM文件、表備注、字段備注、字段內容人工查看等方式來判定每張表每個字段是否需要進行標準化，如何標準化。傳統技術對人工的依賴性比較重，如果出現字段、表、字段碼值命名不規范、命名解釋缺失，人員對數據結構、關系不了解，缺少PDM文件或者說明文檔，人員對公司組織的業務流程不了解等情況，數據標準化操作將會變得非常困難。尤其在組織內系統繁雜，系統表數據量眾多的時候，則需要投入非常多的人工來進行數據的識別、判斷，這樣仍然存在數據標準化不徹底、標準落地遺漏等問題。

發明內容

本發明提出一種構建數據倉庫標準層的方法和系統。

為了解決現有技術中的技術問題，本發明提出一種構建數據倉庫標準層的方法，包括：標準層包括表模型和字段模型；

對于數據庫中各表，確定其是否為孤島表，將非孤島表作為表模型進放入標準層；所述孤島表是指該表與其他表不存在外鍵關系；

對于數據庫中各表的字段，確定其是否為主數據字段；當該字段為主數據字段時，該字段放入標準層；當該字段不是主數據字段時，如果其字段特征中的填充率大于閾值(例如2％)且為非默認值時，將該字段放入標準層；

當分析數據類型與原始類型不一致時，字段類型判斷數據比例為100％時推薦轉換類型，例如，當原始類型為文本時，發現存儲的數據均為(100％)浮點數(即小數)時，推薦轉換為更精確的浮點類型；如果為碼值字段，則推薦進行配置碼值轉換的規則。該處描述的碼值即枚舉值。

作為一種優選的實施方式，通過表級知識圖譜確定數據庫中各表是否為孤島表；所述表級知識圖譜是指將各表以及各表之間的外鍵關系以可視化的圖結構展示的知識圖譜；所述表級知識圖譜包括節點和邊，每一個節點代表一張表，每一條邊代表一種外鍵關系；通過表級知識圖譜中各節點之間是否存在邊來確定對應的表是否存在外鍵關系，當某一節點于其他任何節點不存在邊時，該節點代表的表為孤島表。

作為一種優選的實施方式，通過字段級知識圖譜確定數據庫中各表的字段是否為主數據字段；所述字段級知識圖譜是指將各表的字段、表間關系以可視化的圖結構形式展示的知識圖譜；所述字段級知識圖譜包括節點和邊，每一個節點代表一個字段，每一條邊代表一種字段間關系；所述表間關系體現為來自不同表的字段之間的關系，至少包括外鍵關系、數據相等或數據去空相等；在確定主數據字段時，通過字段級知識圖譜找出表間關系為外鍵關系、數據相等或數據去空相等的兩個字段，且所述兩個字段的原始數據來源于不同的業務系統時，將該兩個字段作為主數據字段。

作為一種優選的實施方式，獲取所述表級知識圖譜的方法為：獲取數據庫中各表所來自的業務系統、表名，以及各表中的字段名；針對各表，根據表中字段的值，分析各字段的特征；以及針對各表，根據表名、字段名以及字段的值，計算獲得表內各字段之間的表內函數依賴關系；針對各表，根據表內函數依賴關系識別出各表的主鍵，并根據所述主鍵的特征在其他表中尋找并確定與之對應的外鍵，在主鍵和外鍵之間形成外鍵關系；將各表以及各表之間的外鍵關系以可視化的圖結構形式展示作為表級知識圖譜。