[發明專利]大數據遷移方法、裝置、設備及存儲介質

有效

• 申請號: 201810122509.1
• 申請日: 2018-02-07
• 公開（公告）號: CN108446315B
• 公開（公告）日: 2021-11-05
• 發明（設計）人: 許四平;朱子虎;戴珍
• 申請（專利權）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/23;G06F16/27
• 代理公司: 深圳眾鼎專利商標代理事務所(普通合伙) 44325
• 代理人: 陽開亮

1.一種大數據遷移方法，其特征在于，所述大數據遷移方法包括：

獲取源數據在第一數據庫中的更新時間，根據所述更新時間將所述源數據劃分為變化源數據和不變化源數據，包括：

在預設時間段內監測所述源數據的更新時間是否發生變化時，將發生變化的所述源數據劃分為所述變化源數據，將未發生變化的所述源數據劃分為所述不變化源數據；

并生成變化源數據表和不變化源數據表；

配置所述變化源數據表和所述不變化源數據表的表任務信息，其中：

配置所述不變化源數據表的表任務信息，包括：

設置第一表配置文件，所述第一表配置文件包括第一源表配置文件和第一目標表配置文件；

通過所述第一源表配置文件對所述不變化源數據在表任務中配置不變化源數據表信息；

通過所述第一目標表配置文件對所述不變化源數據在表任務中配置遷移至第二數據庫中的目標數據表信息；

配置所述變化源數據表的表任務信息，包括：

設置第二表配置文件，所述第二表配置文件包括第二源表配置文件和第二目標表配置文件；

通過所述第二源表配置文件對所述變化源數據在表任務中配置變化源數據表信息；

通過所述第二目標表配置文件對所述變化源數據在表任務中配置同步至所述第二數據庫中的目標數據表信息；

根據所述表任務信息將所述不變化源數據表中的不變化源數據遷移至第二數據庫；

獲取所述變化源數據表中的變化源數據的更新數據，所述更新數據是指變化源數據在變化源數據表中隨時間變化的數據，根據所述表任務信息將所述更新數據同步至所述第二數據庫，包括：

獲取所述變化源數據在所述變化源數據表中最后一次執行更新的更新位置，對所述更新位置進行監控，當監測到所述變化源數據在所述更新位置有更新的變化源數據時，根據所述表任務信息將更新的變化源數據同步至所述第二數據庫，其中，當變化源數據表中的變化源數據更新一次，則同步一次；

獲取所述變化源數據表中變化源數據的數據量值與所述第二數據庫中更新數據的數據量值，當所述變化源數據的數據量值與所述更新數據的數據量值一致時，判定所述變化源數據同步至所述第二數據庫成功；

當變化源數據的數據量值與更新的變化源數據的數據量值不一致時，則將同步至第二數據庫中的更新的變化源數據進行移除，并重新將變化元數據表中更新的變化元數據重新同步至第二數據庫。

2.如權利要求1所述的大數據遷移方法，其特征在于，通過所述第一源表配置文件對所述不變化源數據在表任務中配置不變化源數據表信息，包括：

根據所述不變化源數據表中的數據屬性將所述不變化源數據進行分類并存儲在多個子不變化源數據表中；

通過所述第一源表配置文件和所述多個子不變化源數據表對所述不變化源數據在表任務中配置不變化源數據表信息；

根據所述表任務信息將所述不變化源數據表中的不變化源數據遷移至第二數據庫，包括：

根據所述表任務信息將所述多個子不變化源數據表中的不變化源數據遷移至第二數據庫。