[發(fā)明專利]一種基于容錯時間日志的數(shù)據(jù)遷移的方法

在審

• 申請?zhí)枺?/td>: 201810401982.3
• 申請日: 2018-04-28
• 公開（公告）號: CN108647270A
• 公開（公告）日: 2018-10-12
• 發(fā)明（設計）人: 張淑成;張之強;于延峰
• 申請（專利權）人: 尚谷科技（天津）有限公司;張淑成;張之強;于延峰
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 天津市尚文知識產(chǎn)權代理有限公司 12222
• 代理人: 張東浩

1.一種基于容錯時間日志的數(shù)據(jù)遷移的方法，可將從待遷移DB內(nèi)把數(shù)據(jù)遷移到遷移DB內(nèi)，其特征在于，有下列步驟組成：

A:檢測系統(tǒng)時間是否不早于數(shù)據(jù)時刻加容錯時長；假使是，就進入步驟B；假使不是，則等待規(guī)定時長之后，再次進行系統(tǒng)時間的檢測；

B:數(shù)據(jù)遷移，將待遷移DB的數(shù)據(jù)遷移到遷移DB的相對映射空間；同時，記錄所遷移的數(shù)據(jù)的數(shù)目；

C:檢測比較數(shù)據(jù)遷移的數(shù)目值是與當前的歷史參照數(shù)目與預先設定的不大于1且大于0.8的系數(shù)的乘積值的大小關系；假使大于，則遷移完成；假使不大于，等待規(guī)定的準備時長，之后返回步驟B；同時，疊加準備時長；

D:數(shù)據(jù)遷移完成后，基于當前完成所需的準備時長檢測當前數(shù)據(jù)遷移的數(shù)據(jù)重復率，對遷移的數(shù)據(jù)質(zhì)量進行數(shù)據(jù)查重處理，保證遷移的數(shù)據(jù)質(zhì)量；

E:按照本回信息遷移記錄的遷移數(shù)據(jù)數(shù)目，再次計算得出所述歷史參照數(shù)目和容錯時長；

F:返回步驟A。

2.如前述任一項權利要求所述的基于容錯時間日志的數(shù)據(jù)遷移的方法，其特征在于，所述數(shù)據(jù)時刻通過下述方法確定：

獲得前次遷移的數(shù)據(jù)時刻，加上規(guī)定的數(shù)據(jù)遷移的頻率，進而確定所述遷移的數(shù)據(jù)時刻。

3.如前述任一項權利要求所述的基于容錯時間日志的數(shù)據(jù)遷移的方法，其特征在于，所述歷史參照數(shù)目為所遷移的數(shù)據(jù)所在的二維表在一規(guī)定的時長長度內(nèi)的多次遷移的遷移數(shù)目內(nèi)的最大值。

4.如前述任一項權利要求所述的基于容錯時間日志的數(shù)據(jù)遷移的方法，其特征在于，所述基于當前完成所需的準備時長檢測當前數(shù)據(jù)遷移的數(shù)據(jù)重復率，對遷移的數(shù)據(jù)質(zhì)量進行數(shù)據(jù)查重處理還包括：

根據(jù)當前完成數(shù)據(jù)遷移所需的準備時長,預先設定數(shù)據(jù)相似度閾值；獲取要進行相似比較的兩條數(shù)據(jù)的每一對字段；計算兩條數(shù)據(jù)每一對字段間的相似度，從權重表內(nèi)根據(jù)實體ID和字段ID查詢屬性權重值，算兩條數(shù)據(jù)間的相似度，判斷兩條數(shù)據(jù)是否相似。

5.如前述任一項權利要求所述的基于容錯時間日志的數(shù)據(jù)遷移的方法，其特征在于，在進行數(shù)據(jù)遷移之前，按照日志內(nèi)描述的待遷移DB的二維表屬性值，檢測遷移DB的二維表結(jié)構是否存在缺省，假使存在，則提醒管理人員依據(jù)日志屬性值對二維表結(jié)構進行補正。

6.如前述任一項權利要求所述的基于容錯時間日志的數(shù)據(jù)遷移的方法，其特征在于，在每回信息遷移完成之后，按照本回信息遷移的遷移數(shù)目除將歷史參照數(shù)目，計算出本回信息遷移的完整率；假使數(shù)據(jù)遷移的完整率一次或者多次過低，則向管理人員發(fā)出提示預警信息。

7.如前述任一項權利要求所述的基于容錯時間日志的數(shù)據(jù)遷移的方法，其特征在于，所述容錯時長，在每回信息遷移完成后，將原容錯時長加上累計的準備時長作為下次遷移的容錯時長；假使所述得到的容錯時長超過了規(guī)定的最大值，則發(fā)出提示預警信息。

8.如前述任一項權利要求所述的基于容錯時間日志的數(shù)據(jù)遷移的方法，其特征在于，所述的遷移方法從待遷移DB內(nèi)把數(shù)據(jù)遷移到遷移DB之前還包括：

選擇數(shù)據(jù)源實體信息，加載映射資源信息，開始配置映射關系，通過自動匹配或人工匹配將數(shù)據(jù)源實體日志為基礎,依次選定數(shù)據(jù)源實體日志的字段完成映射關系的建立。