[發明專利]一種數據中臺的數據刪除的處理方法、裝置、設備及介質

在審

• 申請號: 202210635891.2
• 申請日: 2022-06-06
• 公開（公告）號: CN115687312A
• 公開（公告）日: 2023-02-03
• 發明（設計）人: 張保全
• 申請（專利權）人: 平安好醫投資管理有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/22;G06F16/25;G06F11/14
• 代理公司: 上海漢之律師事務所 31378
• 代理人: 馮華

本發明提出一種數據中臺的數據刪除的處理方法、裝置、設備及介質。所述數據刪除的處理方法包括步驟：在目標表上設定邏輯刪除字段標記，以反映樣本數據是否進行過物理刪除操作；創建所述目標表的備份表，所述備份表為一個與原表結構相同的空表結構；查詢所述原表的標簽地址，進行所述原表的標簽對應數據的物理刪除操作，并將物理刪除的數據復制到所述備份表中；將所述備份表中的物理刪除的數據復制到所述原表中，將所述邏輯刪除字段標記的狀態進行修改；基于所述邏輯刪除字段標記的狀態，查詢原表未進行物理刪除操作的數據；根據原表未進行物理刪除操作的數據，得到目標表。本發明可感知物理刪除前后的特性，保證數據的完整性。

技術領域

本發明涉及數據處理、數據遷移技術領域，具體涉及一種數據中臺的數據刪除的處理方法、裝置、設備及介質。

背景技術

作為數據中臺系統及數據的應用方，對數據的準確性有著嚴格的要求，準確的基礎數據可以保證準確的報表及駕駛艙數據。例如在業務系統中，準確的數據資產以及數據服務數據，可以客觀的反映實際業務的流程，以便于業務方和各級部門領導基于準確數據做出正確的決策。

但是在目前的一些業務系統中，由于數據庫設計不規范或者實現有特殊業務需求，需要對業務表的數據進行物理刪除操作。在進行物理刪除的操作過程中，相應的數據鏈路同步工具也會在數據倉庫ODS(Operational data store，操作型數據倉庫)層做相同的物理刪除操作，但是數倉模型層在現有合適的ETL(Extract-transform-load，數據加載層)工具中無法感知ODS層物理刪除操作。當數據模型層的ETL語句無法感知到ODS層物理刪除數據的變化，這樣就會產生上層數據的不準確，進而導致數據應用層數據的不準確，無法客觀反應實際業務情況。

發明內容

本發明提出一種數據中臺的數據刪除的處理方法、裝置、設備及介質，可用于解決當數據模型層的數據加載層的語句無法感知到操作型數據倉庫層物理的刪除數據的變化，產生上層數據的不準確的問題。本發明可提出如下的技術方案。

本發明提出一種數據中臺的數據刪除的處理方法，包括步驟：

在目標表上設定邏輯刪除字段標記，以反映原表的樣本數據是否進行過物理刪除操作，其中，所述目標表為針對所述原表進行表結構內的數據修改后，得到的最終表結構，所述原表為數據庫中當前存有的，且表結構內數據需要修改的一數據表；

創建所述目標表的備份表；

查詢所述原表的標簽地址，進行所述原表的標簽對應數據的物理刪除操作，并將物理刪除的數據復制到所述備份表中；

將所述備份表中的物理刪除的數據復制到所述原表中，將所述邏輯刪除字段標記的狀態進行修改；

基于所述邏輯刪除字段標記的狀態，查詢原表未進行物理刪除操作的數據；

根據原表未進行物理刪除操作的數據，得到寫入數據之后的目標表。

在本發明一實施例中，查詢所述原表的標簽地址，進行所述原表的標簽對應數據的物理刪除操作，并將物理刪除的數據復制到所述備份表的步驟，包括：

前置觸發器調用前置函數，將被物理刪除的數據復制到備份表，所述前置觸發器根據所述原表進行物理刪除的操作來觸發執行。

在本發明一實施例中，將所述備份表中的物理刪除的數據復制到所述原表中，將所述邏輯刪除字段標記的狀態進行修改的步驟，包括：

后置觸發器調用后置函數，將被物理刪除的數據從備份表復制到原表，將邏輯刪除字段標記修改，所述后置觸發器根據所述目標表進行數據的復制操作來觸發執行。

在本發明一實施例中，在所述目標表設定時添加所述前置觸發器和所述后置觸發器。

在本發明一實施例中，基于所述邏輯刪除字段標記的狀態，查詢原表未進行物理刪除操作的數據的步驟，包括：