[發(fā)明專利]一種邏輯增量遷移方法

有效

• 申請?zhí)枺?/td>: 202010931781.1
• 申請日: 2020-09-08
• 公開（公告）號: CN112256666B
• 公開（公告）日: 2023-06-16
• 發(fā)明（設(shè)計）人: 張漢闊;劉少杰;韓光睿;趙威;戚克明;賈祥波;梁燕紅;盧學(xué)剛;宋金鴻
• 申請（專利權(quán)）人: 山東黃金礦業(yè)（萊州）有限公司三山島金礦;煙臺東方縱橫科技股份有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/23
• 代理公司: 北京市廣友專利事務(wù)所有限責(zé)任公司 11237
• 代理人: 張仲波;鄧琳

1.一種邏輯增量遷移方法，其特征在于，包括以下步驟：

S1、根據(jù)具體的業(yè)務(wù)邏輯，確定待遷移數(shù)據(jù)的邏輯范圍，得到邏輯數(shù)據(jù)塊；

所述邏輯數(shù)據(jù)塊包含所述邏輯范圍內(nèi)兩次遷移間隔的變動數(shù)據(jù)和未變動數(shù)據(jù)，其中，所述變動數(shù)據(jù)包括新增數(shù)據(jù)、修改數(shù)據(jù)和刪除數(shù)據(jù)；

所述根據(jù)具體的業(yè)務(wù)邏輯，確定待遷移數(shù)據(jù)的邏輯范圍，得到邏輯數(shù)據(jù)塊的步驟具體包括：

抽取待遷移變動數(shù)據(jù)的共性，歸納出一個包含全部共性的邏輯范圍條件；

對所述邏輯范圍條件進行驗證，驗證所述邏輯范圍條件是否完整；

根據(jù)驗證結(jié)果，對所述邏輯范圍條件進行補充、放大限定范圍、或者縮小限定范圍；

其中，所述抽取待遷移變動數(shù)據(jù)的共性，歸納出一個包含全部共性的邏輯范圍條件的步驟具體包括：

分析待遷移變動數(shù)據(jù)，得出數(shù)據(jù)變動規(guī)律、數(shù)據(jù)聚集特性、以及數(shù)據(jù)共同特點；

根據(jù)得出的數(shù)據(jù)變動規(guī)律、數(shù)據(jù)聚集特性和數(shù)據(jù)共同特點歸納出一個包含全部共性的邏輯范圍條件；

邏輯增量數(shù)據(jù)遷移是無人值守的調(diào)度任務(wù)，不針對個體單據(jù)劃定邏輯數(shù)據(jù)塊；

對所述邏輯范圍條件進行驗證的步驟具體包括：

獲取遷移頻率；

根據(jù)所述遷移頻率判斷下次遷移邏輯數(shù)據(jù)塊時，數(shù)據(jù)是否遺漏；

若出現(xiàn)遺漏，則擴大所述邏輯范圍條件，使所述邏輯數(shù)據(jù)塊包含全部變動數(shù)據(jù)；

在礦山業(yè)務(wù)系統(tǒng)的出庫單中，步驟S1具體包括：

S101、抽取待遷移變動數(shù)據(jù)的共性，歸納出一個包含全部共性的邏輯范圍條件where，共性多從業(yè)務(wù)類型、發(fā)生時間角度分析；

S102、對歸納出的邏輯范圍條件where進行驗證，驗證邏輯范圍條件where是否完整；

S103、根據(jù)驗證結(jié)果，對邏輯范圍條件where進行補充、放大限定范圍、或者縮小限定范圍；

對于礦山業(yè)務(wù)系統(tǒng)的出庫單，其變動數(shù)據(jù)包括單據(jù)的新增即新增bill、單據(jù)的修改即變更bill和單據(jù)的刪除即刪除bill；純增量遷移范圍僅包括新增bill、變更bill和刪除bill，它們都處于一個會計期間，即當(dāng)前會計期間；所述邏輯增量遷移范圍不僅包括新增bill、變更bill和刪除bill，還包括當(dāng)前會計期間的未變動單據(jù)子集；

邏輯范圍條件確定為“當(dāng)前會計期間”的單據(jù)時，待遷移的數(shù)據(jù)量大于純增量遷移方式，但小于全量遷移方式；

對邏輯范圍條件進行驗證的步驟具體包括：

擴大where條件，將近兩個期間內(nèi)的出庫單數(shù)據(jù)全部劃歸到邏輯數(shù)據(jù)塊內(nèi)，并遷移到目標(biāo)表；

對邏輯范圍條件進行驗證的步驟還包括：

將歸納出的邏輯范圍條件與業(yè)務(wù)操作人員進行確認，得到驗證結(jié)果；

經(jīng)與業(yè)務(wù)人員溝通確定，在一天內(nèi)的時間里，反結(jié)賬一個期間會發(fā)生，但連續(xù)反結(jié)賬2個及以上會計期間去修改往期數(shù)據(jù)的操作，是從來不會發(fā)生的；所以得出結(jié)論：最終歸納補充后的邏輯條件是：where期間=近兩個會計期間；

S2、清除目標(biāo)表中與所述邏輯范圍相對應(yīng)的舊數(shù)據(jù)；

步驟S2具體包括：

遷移數(shù)據(jù)時對目標(biāo)表先做的清除數(shù)據(jù)步驟是：

對于邏輯增量遷移方式，因為遷移的數(shù)據(jù)量中具有一定的冗余，它不僅包括純變動數(shù)據(jù)，還包括邏輯范圍內(nèi)的未變動數(shù)據(jù)；而在這部分數(shù)據(jù)遷入目標(biāo)表前，就應(yīng)先刪除目標(biāo)表中這部分邏輯范圍內(nèi)的舊數(shù)據(jù)，邏輯范圍條件就是where子句所限定的條件，如果從源表中提取的邏輯范圍條件是?where?A=B，那么目標(biāo)表中需刪除的邏輯范圍條件也應(yīng)一致為?whereA=B；但確定A=B的邏輯范圍條件時，要確保需要遷移的變動數(shù)據(jù)要屬于A=B的集合的子集；

在遷移出庫單任務(wù)時，只有處于當(dāng)期的出庫單才具有變動數(shù)據(jù)，在以天為遷移頻率的任務(wù)調(diào)度中，待遷移邏輯數(shù)據(jù)塊的邏輯范圍就確定為只提取當(dāng)期單據(jù)；因當(dāng)期單據(jù)中，既包括了所有源表中變更的那些單據(jù)，也包括當(dāng)期沒有變更的單據(jù)即本次遷移的邏輯數(shù)據(jù)塊中的冗余部分；因此邏輯增量遷移時，就需要刪除目標(biāo)表中當(dāng)期的所有單據(jù)，再插入遷移過來的邏輯數(shù)據(jù)塊；

S3、將所述邏輯數(shù)據(jù)塊中的數(shù)據(jù)遷移到所述目標(biāo)表中。