[發明專利]基于數據倉庫抽象數據加載的方法及系統

有效

• 申請號: 202010411049.1
• 申請日: 2020-05-15
• 公開（公告）號: CN111597243B
• 公開（公告）日: 2023-09-15
• 發明（設計）人: 李湘玲;聶冬琴;唐一帆
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/28
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 王濤;湯在彥

1.一種基于數據倉庫抽象數據加載的方法，其特征在于，所述方法包括：

對作業腳本進行預處理，得到實際業務腳本；

提取所述實際業務腳本中語句解析使用到的目標表、源表字段及插入內容的關聯關系，以及提取所述實際業務腳本中的謂詞信息；

利用所述謂詞信息及加載算法標準信息，確定加載程序與加載算法的關聯關系；

根據目標表、源表字段及插入內容的關聯關系，以及加載程序與加載算法的關聯關系，對輸入作業進行數據加載；

其中，所述根據目標表、源表字段及插入內容的關聯關系，以及加載程序與加載算法的關聯關系，對輸入作業進行數據加載包括：

根據目標表與插入內容的字段級關聯關系，以及目標表與源表字段的字段級關聯關系，利用輸入作業的作業名、表名、加載算法及字段級邏輯對照關系得到模板化加載程序；

利用所述模板化加載程序進行數據加載。

2.根據權利要求1所述的方法，其特征在于，所述對作業腳本進行預處理，得到實際業務腳本包括：

將所述作業腳本的內容讀取到變量中，利用正則表達式去除變量中非必要信息，得到僅包含實際業務功能的實際業務腳本。

3.根據權利要求1所述的方法，其特征在于，所述提取所述實際業務腳本中語句解析使用到的目標表、源表字段及插入內容的關聯關系，以及提取所述實際業務腳本中的謂詞信息包括：

利用正則表達式逐一提取所述實際業務腳本中語句解析使用到的目標表、源表字段及插入內容的關聯關系，以及所述實際業務腳本中的SQL語句謂詞信息。

4.一種基于數據倉庫抽象數據加載的系統，其特征在于，所述系統包括：

腳本處理模塊，用于對作業腳本進行預處理，得到實際業務腳本；

腳本解析模塊，用于提取所述實際業務腳本中語句解析使用到的目標表、源表字段及插入內容的關聯關系，以及提取所述實際業務腳本中的謂詞信息；利用所述謂詞信息及加載算法標準信息，確定加載程序與加載算法的關聯關系；

數據加載模塊，用于根據目標表、源表字段及插入內容的關聯關系，以及加載程序與加載算法的關聯關系，對輸入作業進行數據加載；

其中，所述數據加載模塊包括：

加載程序單元，用于根據目標表與插入內容的字段級關聯關系，以及目標表與源表字段的字段級關聯關系，利用輸入作業的作業名、表名、加載算法及字段級邏輯對照關系得到模板化加載程序；

數據加載單元，用于利用所述模板化加載程序進行數據加載。

5.根據權利要求4所述的系統，其特征在于，所述腳本處理模塊包括：

語句抽取單元，用于將所述作業腳本的內容讀取到變量中，利用正則表達式去除變量中非必要信息，得到僅包含實際業務功能的實際業務腳本。

6.根據權利要求4所述的系統，其特征在于，所述腳本解析模塊包括：

腳本解析單元，用于利用正則表達式逐一提取所述實際業務腳本中語句解析使用到的目標表、源表字段及插入內容的關聯關系，以及所述實際業務腳本中的SQL語句謂詞信息。

7.根據權利要求4所述的系統，其特征在于，所述系統還包括：源數據模塊，用于存儲應用系統的作業腳本。

8.根據權利要求4所述的系統，其特征在于，所述系統還包括：加載算法標準模塊，用于存儲加載算法標準信息。

9.根據權利要求4所述的系統，其特征在于，所述系統還包括：存儲模塊，用于存儲目標表、源表字段及插入內容的關聯關系，以及加載程序與加載算法的關聯關系。

10.一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現權利要求1至3任一項所述的方法。

11.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，處理器執行所述計算機程序時實現權利要求1至3任一項所述的方法。