[發明專利]基于動態規則的數據轉換方法和轉換系統

在審

• 申請號: 201911239287.2
• 申請日: 2019-12-06
• 公開（公告）號: CN111090689A
• 公開（公告）日: 2020-05-01
• 發明（設計）人: 湯同偉
• 申請（專利權）人: 紫光云（南京）數字技術有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于動態規則的數據轉換方法和轉換系統，所述的數據轉換方法引入Map數據結構對源數據進行處理，將源數據按集合的方式分批傳遞給Drools規則引擎，Drools規則引擎對源數據進行處理得到目標數據。本發明可以提高數據轉換效率，實現動態加載規則文件。

技術領域

本發明涉及一種數據轉換，特別涉及一種基于動態規則的數據轉換方法和轉換系統。

背景技術

數據集成過程中，涉及對數據進行抽取、清洗、轉換、加載四個步驟將數據從源數據庫(或者文件)加載到目的數據庫。這個過程中，將不同來源、格式、特點性質的數據在邏輯上或物理上有機地集中。需要對數據進行轉換，形成目的數據庫的統一格式。

這個數據集成過程中存在很多轉換處理，這些處理耗時很長，對數據的處理效率影響很大?，F有的很多處理轉換的方法，是通過微服務調用的方式來實現數據轉換；這存在網絡通信時間的問題，很難適應大數據量需求。也有通過js代碼來處理數據轉換，這樣的設計無法處理數據集合，只能一個一個的處理數據，存在耗時問題。另外每一次轉換邏輯需要改變，需要新生成文件，更換文件是需要先停止原來的任務，或者等待原來的任務結束，然后重新加載，無法動態加載文件。

發明內容

有鑒于此，本發明的目的是提供一種基于動態規則的數據轉換方法和轉換系統，用于解決現有技術存在的無法動態加載文件，數據轉換效率低下的問題。

為實現上述目的，本發明提供了一種基于動態規則的數據轉換方法，引入Map數據結構對源數據進行處理，將源數據按集合的方式分批傳遞給Drools規則引擎，Drools規則引擎對源數據進行處理得到目標數據。

可選的，Drools規則引擎包括工作存儲器和規則文件，所述工作存儲器分批接收源數據；規則文件對工作存儲器中的源數據進行匹配和處理，以實現源數據到目的數據的轉換。

可選的，規則文件采用條件語句結構，當條件滿足時，執行語句對工作存儲器中的源數據進行新增、刪除或者修改。

可選的，規則文件采用條件語句結構，當條件滿足時，執行語句通過訪問器設置源數據某個屬性的值，該值可以是源數據中的值，或者是某個表達式的值。

本發明還提供一種基于動態規則的數據轉換系統，包括：Map數據結構和Drools規則引擎，所述Map數據結構將源數據按集合的方式分批傳遞Drools規則引擎，Drools規則引擎對源數據進行處理得到目標數據。

可選的，Drools規則引擎包括規則文件和工作存儲器，所述工作存儲器分批接收源數據，所述規則文件對工作存儲器中的源數據進行匹配和處理。

與現有技術相比，本發明之技術方案具有以下優點：本發明引入Map數據結構對源數據進行處理，將源數據按集合的方式分批傳遞給Drools規則引擎，Drools規則引擎對源數據進行處理得到目標數據。本發明實現了大數據量數據轉換分批處理，提高了數據轉換效率，實現動態加載規則文件，通過用戶交互界面完成；無需先生成數據轉換文件，然后手動上傳。

附圖說明

圖1為本發明數據轉換系統原理圖；

具體實施方式

以下結合附圖對本發明的優選實施例進行詳細描述，但本發明并不僅僅限于這些實施例。本發明涵蓋任何在本發明的精神和范圍上做的替代、修改、等效方法以及方案。

為了使公眾對本發明有徹底的了解，在以下本發明優選實施例中詳細說明了具體的細節，而對本領域技術人員來說沒有這些細節的描述也可以完全理解本發明。

在下列段落中參照附圖以舉例方式更具體地描述本發明。需說明的是，附圖均采用較為簡化的形式且均使用非精準的比例，僅用以方便、明晰地輔助說明本發明實施例的目的。