[發明專利]基于數據倉庫抽象數據加載的方法及系統

有效

• 申請號: 202010411049.1
• 申請日: 2020-05-15
• 公開（公告）號: CN111597243B
• 公開（公告）日: 2023-09-15
• 發明（設計）人: 李湘玲;聶冬琴;唐一帆
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/28
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 王濤;湯在彥

本發明提供了一種基于數據倉庫抽象數據加載的方法及系統。所述方法包括：對作業腳本進行預處理，得到實際業務腳本；提取實際業務腳本中語句解析使用到的目標表、源表字段及插入內容的關聯關系，以及提取實際業務腳本中的謂詞信息；利用所述謂詞信息及加載算法標準信息，確定加載程序與加載算法的關聯關系；根據目標表、源表字段及插入內容的關聯關系，以及加載程序與加載算法的關聯關系，對輸入作業進行數據加載。本發明克服了對數據倉庫在不同技術平臺上大量手工加載程序的無序管理，并彌補了數據倉庫模型邏輯對應關系依賴人工查找，無法準確獲取的缺點，提升加載程序開發時效，降低人力成本，提升定位問題分析時效，提高分析準確性。

技術領域

本發明涉及數據加載技術領域，尤指一種基于數據倉庫抽象數據加載的方法及系統。

背景技術

由于大數據技術發展快速，數據庫軟件也在不停地更新換代，數據倉庫的數據在SAS平臺、Teradata平臺、Hadoop平臺、GaussDB平臺之間頻繁進行切換，造成在作業前期的遷移轉換過程中，為了適應新技術平臺的特性，無可避免地出現了大量手工撰寫和修改加載程序的情況，雖然在技術平臺成型的后期形成了統一模板加載工具，但前期的大量手工加載程序，造成了程序的可維護性較差，大量依賴人工查找程序進行單一的分析和修改，無法對加載規范標準、技術平臺特性等同質問題進行統一規劃和管理。

發明內容

為了解決上述問題，本發明實施例提供一種基于數據倉庫抽象數據加載的方法，所述方法包括：

對作業腳本進行預處理，得到實際業務腳本；

提取所述實際業務腳本中語句解析使用到的目標表、源表字段及插入內容的關聯關系，以及提取所述實際業務腳本中的謂詞信息；

利用所述謂詞信息及加載算法標準信息，確定加載程序與加載算法的關聯關系；

根據目標表、源表字段及插入內容的關聯關系，以及加載程序與加載算法的關聯關系，對輸入作業進行數據加載。

可選的，在本發明一實施例中，所述對作業腳本進行預處理，得到實際業務腳本包括：將所述作業腳本的內容讀取到變量中，利用正則表達式去除變量中非必要信息，得到僅包含實際業務功能的實際業務腳本。

可選的，在本發明一實施例中，所述提取所述實際業務腳本中語句解析使用到的目標表、源表字段及插入內容的關聯關系，以及提取所述實際業務腳本中的謂詞信息包括：利用正則表達式逐一提取所述實際業務腳本中語句解析使用到的目標表、源表字段及插入內容的關聯關系，以及所述實際業務腳本中的SQL語句謂詞信息。

可選的，在本發明一實施例中，所述根據目標表、源表字段及插入內容的關聯關系，以及加載程序與加載算法的關聯關系，對輸入作業進行數據加載包括：根據目標表與插入內容的字段級關聯關系，以及目標表與源表字段的字段級關聯關系，利用輸入作業的作業名、表名、加載算法及字段級邏輯對照關系得到模板化加載程序；利用所述模板化加載程序進行數據加載。

本發明實施例還提供一種基于數據倉庫抽象數據加載的系統，所述系統包括：

腳本處理模塊，用于對作業腳本進行預處理，得到實際業務腳本；

腳本解析模塊，用于提取所述實際業務腳本中語句解析使用到的目標表、源表字段及插入內容的關聯關系，以及提取所述實際業務腳本中的謂詞信息；利用所述謂詞信息及加載算法標準信息，確定加載程序與加載算法的關聯關系；

數據加載模塊，用于根據目標表、源表字段及插入內容的關聯關系，以及加載程序與加載算法的關聯關系，對輸入作業進行數據加載。

可選的，在本發明一實施例中，所述腳本處理模塊包括：語句抽取單元，用于將所述作業腳本的內容讀取到變量中，利用正則表達式去除變量中非必要信息，得到僅包含實際業務功能的實際業務腳本。