[發明專利]數據處理方法及裝置

有效

• 申請號: 202010843129.4
• 申請日: 2020-08-20
• 公開（公告）號: CN111984684B
• 公開（公告）日: 2021-07-23
• 發明（設計）人: 葉本華
• 申請（專利權）人: 北京捷報金峰數據技術有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/23;G06F16/25;G06F16/28
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

本公開涉及種數據處理方法及裝置，所述方法包括：對獲取自多個數據源的應用數據進行預處理，得到預處理后的應用數據以對系統中的數據進行更新，其中，應用數據為關系型數據；將預處理后的應用數據轉換為目標類型的數據；接收數據查詢消息，根據數據查詢消息確定數據查詢指令，并對數據查詢指令進行校驗，得到校驗結果；在校驗結果符合預設條件時，根據設定的調度策略調度數據查詢指令，以從系統中獲得并存儲查詢結果。本公開實施例的數據處理方法能夠根據不同需求靈活地定義數據類型，將系統業務邏輯與業務數據進行解耦，并支持來自不同關系型數據的自動化聯合校驗，從而厘清系統中的不一致數據和無效數據，能夠顯著提高系統數據的可靠性。

技術領域

本公開涉及計算機技術領域，尤其涉及一種數據處理方法及裝置。

背景技術

隨著信息技術的不斷發展，企業系統的業務邏輯功能日益繁雜，在系統集成過程中，存放于不同系統、不同數據源的海量數據之間不可避免地會出現數據重復、數據錯誤等問題，為了防止系統業務過程受到臟數據的影響，有必要進行定期的數據校驗工作。現有的數據校驗技術大多數局限于單一系統、單一數據源中的數據糾錯，也缺乏面向業務人員的數據校驗方法。然而，企業系統中同一組數據可能應用于多個業務流程，同一個業務系統也需要處理多個數據源的數據，業務人員并不了解這些龐雜的數據內容，也難以手工編寫各種關系數據庫的查詢語句來進行數據校驗工作。

發明內容

有鑒于此，本公開提出了一種數據處理方法，應用于數據處理系統，所述方法包括：

對獲取自多個數據源的應用數據進行預處理，得到預處理后的應用數據以對所述系統中的數據進行更新，其中，所述應用數據為關系型數據；

將所述預處理后的應用數據轉換為目標類型的數據；

接收數據查詢消息，根據數據查詢消息確定數據查詢指令，并對所述數據查詢指令進行校驗，得到校驗結果；

在所述校驗結果符合預設條件時，根據設定的調度策略調度所述數據查詢指令，以從所述系統中獲得并存儲查詢結果。

在一種可能的實施方式中，所述應用數據包括基礎數據表，所述獲取自多個數據源的應用數據進行預處理，包括：

獲取目標應用的基礎數據表集合，所述基礎數據表集合包括所述目標應用的應用數據的字段及字段數據值；

將所述目標應用的基礎數據表與所述系統中已存儲的數據表集合進行對比，根據比較結果對所述目標應用的基礎數據表進行預處理。

在一種可能的實施方式中，所述根據比較結果對所述目標應用的基礎數據表進行預處理，包括：

當已存儲的數據表集合中包括所述目標應用的基礎數據表時，利用所述目標應用的基礎數據表的時間戳更新已存儲的數據表，并更新系統中已存儲的數據表的版本標識；或

當已存儲的數據表集合中包括所述目標應用的基礎數據表的部分字段時，將所述目標應用的基礎數據表導入所述系統中，并將所述目標應用的基礎數據表及已存儲的數據表集合中與所述目標應用的基礎數據表部分字段相同的數據表進行關聯；或

當已存儲的數據表集合中不包括所述目標應用的基礎數據表時，將所述目標應用的基礎數據表導入所述系統中，并將所述目標應用的基礎數據表的版本標識初始化。

在一種可能的實施方式中，所述對獲取自多個數據源的應用數據進行預處理，還包括：

獲取多個數據源中所述目標應用的基礎數據表；

根據不同的數據源對所述目標應用的基礎數據表進行分類；

在各個類別下，根據最新的時間戳對所述目標應用的基礎數據進行排序。

在一種可能的實施方式中，所述將所述預處理后的應用數據轉換為目標類型的數據，包括：