[發(fā)明專利]一種數(shù)據(jù)處理方法、裝置及存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011314918.5
• 申請日: 2020-11-20
• 公開（公告）號(hào): CN112463850A
• 公開（公告）日: 2021-03-09
• 發(fā)明（設(shè)計(jì)）人: 但丹;古益杰;孫哲;王志旻;王毅;羅嵩
• 申請（專利權(quán)）人: 中國建設(shè)銀行股份有限公司
• 主分類號(hào): G06F16/2458
• 分類號(hào): G06F16/2458;G06F16/23;G06F16/27;G06F17/18
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 賈允;郝傳鑫

本發(fā)明涉及一種數(shù)據(jù)處理方法、裝置及存儲(chǔ)介質(zhì)，所述方法包括：獲取第一目標(biāo)對象的數(shù)據(jù)狀態(tài)和第二目標(biāo)對象的數(shù)據(jù)狀態(tài)；在第一目標(biāo)對象的數(shù)據(jù)狀態(tài)和第二目標(biāo)對象的數(shù)據(jù)狀態(tài)均為靜止?fàn)顟B(tài)的情況下，獲取第一目標(biāo)對象的第一應(yīng)用數(shù)據(jù)和第二目標(biāo)對象的第二應(yīng)用數(shù)據(jù)；確定數(shù)據(jù)處理策略；根據(jù)第一應(yīng)用數(shù)據(jù)、第二應(yīng)用數(shù)據(jù)和數(shù)據(jù)處理策略，得到第一目標(biāo)數(shù)據(jù)和第二目標(biāo)數(shù)據(jù)；比較第一目標(biāo)數(shù)據(jù)與第二目標(biāo)數(shù)據(jù)，獲得數(shù)據(jù)一致性檢查結(jié)果。通過將兩個(gè)目標(biāo)對象的數(shù)據(jù)分別進(jìn)行數(shù)據(jù)處理后再進(jìn)行數(shù)據(jù)比對，實(shí)現(xiàn)上述兩個(gè)目標(biāo)對象的數(shù)據(jù)是否一致的判定，其中數(shù)據(jù)處理過程及數(shù)據(jù)處理后進(jìn)行數(shù)據(jù)對比的性能消耗小，能夠滿足海量數(shù)據(jù)下一致性快速檢測對比的需求。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法、裝置及存儲(chǔ)介質(zhì)。

背景技術(shù)

中國建設(shè)銀行的數(shù)據(jù)存儲(chǔ)目前采用主機(jī)雙活架構(gòu)，位于北京稻香湖的生產(chǎn)主站點(diǎn)數(shù)據(jù)將被復(fù)制到1200公里外的武漢南湖備站點(diǎn)。這一架構(gòu)的核心是使用IBM QREP(IBM QReplication Architecture Q Replication)工具讀取生產(chǎn)DB2(關(guān)系型數(shù)據(jù)庫管理系統(tǒng))的LOG數(shù)據(jù)，然后通過交易回放的方式在備站點(diǎn)完成數(shù)據(jù)復(fù)制，從而實(shí)現(xiàn)交易級(jí)別數(shù)據(jù)復(fù)制的準(zhǔn)實(shí)時(shí)性以及DB2數(shù)據(jù)的完整一致性。

由于武漢南湖在計(jì)劃內(nèi)或者計(jì)劃外停機(jī)時(shí)會(huì)代替北京成為生產(chǎn)中心，對于銀行來說，由于涉及到金融經(jīng)濟(jì)相關(guān)的信息，對于數(shù)據(jù)的準(zhǔn)確性有著極高的要求，不能容忍系統(tǒng)當(dāng)前的數(shù)據(jù)存在任何丟失，因此必須保證備站點(diǎn)與主站點(diǎn)的數(shù)據(jù)時(shí)刻保持一致，即使發(fā)生不一致，也要求在短時(shí)間內(nèi)快速發(fā)現(xiàn)并糾錯(cuò)。

為了驗(yàn)證數(shù)據(jù)復(fù)制結(jié)果的一致性，需要在雙活測試過程中安排數(shù)據(jù)一致性比對測試。目前現(xiàn)有的數(shù)據(jù)一致性對比工具為IBM QREP提供的ASNTDIFF。它通過執(zhí)行一個(gè)作業(yè)分別調(diào)用主/備站點(diǎn)DB2的存取過程(stored procedure)，然后根據(jù)哈希算法按照每1000條記錄一個(gè)對比單元的方式對2個(gè)站點(diǎn)的同一張應(yīng)用表進(jìn)行逐條數(shù)據(jù)對比。如果出現(xiàn)了數(shù)據(jù)不一致，ASNTDIFF會(huì)把差異數(shù)據(jù)存放在一個(gè)預(yù)先定義好的DB2表中，供后續(xù)分析。如果數(shù)據(jù)完全一致，作業(yè)會(huì)正常結(jié)束并在輸出中提示對比結(jié)果完全相同的信息。

但是采用上述工具會(huì)存在下列問題：

1)執(zhí)行ASNTDIFF作業(yè)會(huì)消耗較多的CPU資源，同時(shí)執(zhí)行多個(gè)ASNTDIFF作業(yè)時(shí)需要考慮當(dāng)前系統(tǒng)的資源是否充足；

2)北京和武漢之間1200公里的距離對于ASNTDIFF的執(zhí)行效率存在影響；

3)不同的ASNTDIFF作業(yè)需要定義自己的差異表；

4)如果對比的應(yīng)用表數(shù)據(jù)量很大，需要關(guān)注并發(fā)數(shù)和DRDA(DistributedRelational Database Architecture，分布式關(guān)系數(shù)據(jù)庫體系結(jié)構(gòu))效率，以及網(wǎng)絡(luò)的穩(wěn)定程度。

針對上述技術(shù)問題，因此需要提供一種數(shù)據(jù)處理方法、裝置及存儲(chǔ)介質(zhì)。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)的上述問題，本發(fā)明的目的在于提供一種數(shù)據(jù)處理方法、裝置及存儲(chǔ)介質(zhì)，通過將兩個(gè)目標(biāo)對象的數(shù)據(jù)分別進(jìn)行數(shù)據(jù)處理后再進(jìn)行數(shù)據(jù)比對，實(shí)現(xiàn)上述兩個(gè)目標(biāo)對象的數(shù)據(jù)是否一致的判定，其中數(shù)據(jù)處理過程及數(shù)據(jù)處理后進(jìn)行數(shù)據(jù)對比的性能消耗小，能夠滿足海量數(shù)據(jù)下一致性快速檢測對比的需求。

為了解決上述問題，本發(fā)明提供一種數(shù)據(jù)處理方法、裝置及存儲(chǔ)介質(zhì)，包括如下步驟：

獲取第一目標(biāo)對象的數(shù)據(jù)狀態(tài)和第二目標(biāo)對象的數(shù)據(jù)狀態(tài)，所述數(shù)據(jù)狀態(tài)包括靜止?fàn)顟B(tài)和非靜止?fàn)顟B(tài)；

在所述第一目標(biāo)對象的數(shù)據(jù)狀態(tài)和所述第二目標(biāo)對象的數(shù)據(jù)狀態(tài)均為靜止?fàn)顟B(tài)的情況下，獲取所述第一目標(biāo)對象的第一應(yīng)用數(shù)據(jù)和所述第二目標(biāo)對象的第二應(yīng)用數(shù)據(jù)；

確定數(shù)據(jù)處理策略；