[發明專利]基于表關聯的丟失數據回收方法、裝置、設備及介質

有效

• 申請號: 202110005207.8
• 申請日: 2021-01-05
• 公開（公告）號: CN112328677B
• 公開（公告）日: 2021-04-02
• 發明（設計）人: 陳偉
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/28
• 代理公司: 深圳市賽恩倍吉知識產權代理有限公司 44334
• 代理人: 遲珊珊;劉麗華

1.一種基于表關聯的丟失數據回收方法，其特征在于，所述基于表關聯的丟失數據回收方法包括：

響應于第一數據抽取指令，根據所述第一數據抽取指令從源系統中獲取待抽取數據表；

從所述待抽取數據表中抽取數據增量同步至增量表，并在所述增量表中根據抽取的數據構建主表；

確定與所述待抽取數據表相關聯的關聯數據表；

從所述增量表中獲取所述關聯數據表的已抽取數據，并在所述增量表中根據所述已抽取數據構建從表；

將所述從表中的數據與所述主表中的數據進行關聯，并獲取關聯失敗的數據；

將所述關聯失敗的數據寫入回收表；

響應于對所述待抽取數據表的第二數據抽取指令，根據所述第二數據抽取指令從所述待抽取數據表中抽取數據增量同步至所述增量表，并將抽取的數據更新至所述主表；

從所述增量表中獲取當前的從表，并計算所述當前的從表與所述回收表的并集作為更新后的從表；

將所述更新后的從表與更新后的主表進行關聯，并將關聯成功的數據從所述回收表中移除。

2.如權利要求1所述的基于表關聯的丟失數據回收方法，其特征在于，所述根據所述第一數據抽取指令從源系統中獲取待抽取數據表包括：

解析所述第一數據抽取指令的方法體，得到所述第一數據抽取指令所攜帶的信息；

獲取預設標簽；

在所述第一數據抽取指令所攜帶的信息中查找具有所述預設標簽的數據，并將查找到的數據確定為目標表名；

從所述源系統中獲取具有所述目標表名的數據表作為所述待抽取數據表。

3.如權利要求1所述的基于表關聯的丟失數據回收方法，其特征在于，所述從所述待抽取數據表中抽取數據增量同步至增量表包括：

解析所述第一數據抽取指令，得到數據抽取的第一時間戳范圍；

從所述待抽取數據表中獲取滿足所述第一時間戳范圍的數據作為備選數據；

檢測所述備選數據中發生變更的數據；

將所述發生變更的數據同步至所述增量表。

4.如權利要求1所述的基于表關聯的丟失數據回收方法，其特征在于，所述確定與所述待抽取數據表相關聯的關聯數據表包括：

檢測與所述待抽取數據表間具有join操作的數據表；

將檢測到的數據表確定為所述關聯數據表。

5.如權利要求1所述的基于表關聯的丟失數據回收方法，其特征在于，所述將所述從表中的數據與所述主表中的數據進行關聯包括：

獲取所述從表中每條從數據的數據標識，及獲取所述主表中每條主數據的數據標識；

調用預先配置的映射表，所述映射表中存儲著每條從數據的數據標識與每條主數據的數據標識間的對應關系；

當在所述映射表中查找到所述從表中第一數據的數據標識與所述主表中第二數據的數據標識具有對應關系時，確定所述第一數據與所述第二數據關聯，并確定所述第一數據關聯成功；或者

當在所述映射表中沒有查找到與所述第一數據的數據標識具有對應關系的主數據時，確定所述第一數據關聯失敗。

6.如權利要求1所述的基于表關聯的丟失數據回收方法，其特征在于，在將所述關聯失敗的數據寫入回收表前，所述方法還包括：

識別所述增量表的表結構；

根據所述增量表的表結構創建所述增量表的同構表；

將創建的同構表確定為所述回收表。

7.如權利要求1所述的基于表關聯的丟失數據回收方法，其特征在于，所述方法還包括：

定期檢測所述回收表中每條數據的已回收時間；

當檢測到有數據的已回收時間大于或者等于預設時長時，將檢測到的數據確定為待驗證數據；

根據所述待驗證數據在所述源系統中進行對賬；

從所述待驗證數據中獲取符合對賬標準的數據，并將所述符合對賬標準的數據保留至所述回收表；

從所述待驗證數據中獲取不符合對賬標準的數據，并將所述不符合對賬標準的數據從所述回收表中移除。