[發明專利]一種數據處理的方法及裝置

在審

• 申請號: 202310631546.6
• 申請日: 2023-05-31
• 公開（公告）號: CN116340411A
• 公開（公告）日: 2023-06-27
• 發明（設計）人: 劉小霞;朱海洋;高楊斌;胡健;朱時俊
• 申請（專利權）人: 物產中大數字科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/22;G06F16/23;G06F16/242;G06F16/28
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 陳瀟

本說明書提供一種數據處理方法及裝置，響應于用戶新建工作流的操作，輸出工作流編輯界面，在工作流編輯界面中建立對應于第一數據庫系統的源數據表以及對應于第二數據庫系統的空數據表，確定源數據表和目標數據表的轉換關系。基于源數據表、空數據表和轉換關系，生成目標工作流，執行目標工作流，將源數據表進行轉換之后更新至空數據表中，得到目標數據表。對目標數據表進行更新，以在第二數據庫系統中對更新之后的目標數據表進行處理。如此不僅解決了采集數據的第一數據庫系統和處理數據的第二數據庫系統存在的數據不兼容的問題，而且提升了數據采集的效率。

技術領域

本說明書一個或多個實施例涉及數據庫技術領域，特別涉及一種數據處理的方法及裝置。

背景技術

目前來說，很多大型企業因業務的需要，需通過數據庫系統采集業務數據。在對業務數據進行處理時，需要將業務數據導入至其它的數據庫系統進行處理。例如，可以利用HANA數據庫系統對業務數據進行采集，利用ORACLE數據庫系統對業務數據進行統計分析。然而，采集數據的數據庫系統和處理數據的數據庫系統可能存在數據不兼容的問題。

在相關技術中，一般是通過人工提取數據，然后手動轉換成符合處理數據的數據庫系統能夠兼容的數據格式，但是，如果數據量過大，可能會導致數據在轉換過程出現錯誤與亂碼、日志顯示不全、人工調整難度大等問題。

發明內容

本說明書一個或多個實施例提供一種數據處理方法及裝置。

根據第一方面，提供一種數據處理方法，包括：

響應于用戶新建工作流的操作，輸出工作流編輯界面；

在所述工作流編輯界面中建立源數據表；所述源數據表中的數據來自第一數據庫系統；

在所述工作流編輯界面中新建對應于第二數據庫系統的空數據表；

確定所述源數據表和目標數據表的轉換關系；

響應于用戶在所述工作流編輯界面中的觸發操作，基于所述源數據表、所述空數據表和所述轉換關系，生成目標工作流；

執行所述目標工作流，將所述源數據表進行轉換之后更新至所述空數據表中，得到所述目標數據表；

對所述目標數據表進行以下更新，以在所述第二數據庫系統中對更新之后的目標數據表進行處理：確定所述目標數據表中的目標列，將所述目標列中的數據對應的字符集類型更新成預設字符集類型，以及將所述目標數據表中指定數據的格式更新為目標格式。

可選地，所述在所述工作流編輯界面中建立源數據表，包括：

通過所述工作流編輯界面，在預先搭建的所述第一數據庫系統的數據庫環境下，新建源數據庫，并在所述源數據庫中建立源數據倉；

向所述源數據倉中導入所述第一數據庫系統中的指定數據表作為所述源數據表，并向所述源數據倉中添加所述源數據表的表格視圖。

可選地，所述在所述工作流編輯界面中新建對應于第二數據庫系統的空數據表，包括：

通過所述工作流編輯界面，在預先搭建的所述第二數據庫系統的數據庫環境下，新建目標數據庫，并在所述目標數據庫中建立目標數據倉；

在所述目標數據倉中創建所述源數據表對應的空數據表，并向所述目標數據倉中添加所述空數據表的表格視圖。

可選地，所述確定所述源數據表和目標數據表的轉換關系，包括：

利用SQL查詢語句確定所述第一數據庫系統和所述第二數據庫系統中數據集、表格、列和主關鍵字之間的對應關系；

基于所述第一數據庫系統和所述第二數據庫系統中數據集、表格、列和主關鍵字之間的對應關系，確定所述源數據表和目標數據表的轉換關系。

可選地，所述確定所述目標數據表中的目標列，包括：將預設字段對應的列確定為所述目標數據表中的目標列。

可選地，所述將所述目標列中的數據對應的字符集類型更新成預設字符集類型，包括：