[發(fā)明專(zhuān)利]一種分布式場(chǎng)景下數(shù)據(jù)一致性檢驗(yàn)方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210877164.7
• 申請(qǐng)日: 2022-07-25
• 公開(kāi)（公告）號(hào): CN115292383A
• 公開(kāi)（公告）日: 2022-11-04
• 發(fā)明（設(shè)計(jì)）人: 王新健;李慶;陳堯;華震;張明強(qiáng)
• 申請(qǐng)（專(zhuān)利權(quán)）人: 浪潮云信息技術(shù)股份公司
• 主分類(lèi)號(hào): G06F16/2458
• 分類(lèi)號(hào): G06F16/2458;G06F16/27
• 代理公司: 濟(jì)南信達(dá)專(zhuān)利事務(wù)所有限公司 37100
• 代理人: 姜鵬

本發(fā)明涉及軟件開(kāi)發(fā)技術(shù)領(lǐng)域，具體為一種分布式場(chǎng)景下數(shù)據(jù)一致性檢驗(yàn)方法，包括以下步驟：數(shù)據(jù)生產(chǎn)請(qǐng)求階段負(fù)責(zé)獲取數(shù)據(jù)生成范圍，獲得數(shù)據(jù)生成理論值；保證子環(huán)節(jié)的數(shù)據(jù)一致性，進(jìn)行數(shù)據(jù)流轉(zhuǎn)；數(shù)據(jù)生成及持久化，獲得數(shù)據(jù)生成實(shí)際值；進(jìn)行理論值與實(shí)際值進(jìn)行對(duì)比，進(jìn)行數(shù)據(jù)生成準(zhǔn)確性判斷；有益效果為：本發(fā)明提出的分布式場(chǎng)景下數(shù)據(jù)一致性檢驗(yàn)方法及系統(tǒng)用于對(duì)數(shù)據(jù)生成的效率、準(zhǔn)確性要求高的業(yè)務(wù)場(chǎng)景，例如：銀行賬單、政府?dāng)?shù)據(jù)等；數(shù)據(jù)生成檢驗(yàn)方法概括為數(shù)據(jù)產(chǎn)生理論值與數(shù)據(jù)產(chǎn)生實(shí)際值進(jìn)行比對(duì)，實(shí)現(xiàn)過(guò)程包括數(shù)據(jù)生成理論值的記錄、數(shù)據(jù)生成實(shí)際值的記錄、數(shù)據(jù)生成理論值與實(shí)際值比對(duì)、數(shù)據(jù)修復(fù)。

技術(shù)領(lǐng)域

本發(fā)明涉及軟件開(kāi)發(fā)技術(shù)領(lǐng)域，具體為一種分布式場(chǎng)景下數(shù)據(jù)一致性檢驗(yàn)方法及系統(tǒng)。

背景技術(shù)

隨著數(shù)字化水平的提高和軟件技術(shù)的發(fā)展，對(duì)于軟件系統(tǒng)數(shù)據(jù)的準(zhǔn)確性提出了更高的需求。針對(duì)分布式場(chǎng)景下，數(shù)據(jù)的生成過(guò)程可能要流轉(zhuǎn)多個(gè)系統(tǒng)，中間過(guò)程數(shù)據(jù)的流轉(zhuǎn)可能導(dǎo)致數(shù)據(jù)的異常丟失。另外大型系統(tǒng)還會(huì)存在高并發(fā)，多線程處理的情況，對(duì)于數(shù)據(jù)的準(zhǔn)確性帶來(lái)了更大的挑戰(zhàn)。

現(xiàn)有技術(shù)中，一些中間件技術(shù)像消息隊(duì)列、數(shù)據(jù)緩存中間件等對(duì)于數(shù)據(jù)的準(zhǔn)確性也做出了努力，如：通過(guò)消息隊(duì)列的可靠生成、可靠消費(fèi)來(lái)確保生產(chǎn)、消費(fèi)數(shù)據(jù)的一致性。

但是，從整個(gè)數(shù)據(jù)生成生命周期來(lái)看這主要處理數(shù)據(jù)流轉(zhuǎn)的某個(gè)環(huán)節(jié)，并沒(méi)有針對(duì)數(shù)據(jù)全生命周期宏觀的檢驗(yàn)方法，以實(shí)現(xiàn)對(duì)數(shù)據(jù)生成準(zhǔn)確性進(jìn)行整體、直觀的判斷。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種分布式場(chǎng)景下數(shù)據(jù)一致性檢驗(yàn)方法及系統(tǒng)，以解決上述背景技術(shù)中提出的問(wèn)題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種分布式場(chǎng)景下數(shù)據(jù)一致性檢驗(yàn)方法，所述分布式場(chǎng)景下數(shù)據(jù)一致性檢驗(yàn)方法包括以下步驟：

數(shù)據(jù)生產(chǎn)請(qǐng)求階段負(fù)責(zé)獲取數(shù)據(jù)生成范圍，獲得數(shù)據(jù)生成理論值；

保證子環(huán)節(jié)的數(shù)據(jù)一致性，進(jìn)行數(shù)據(jù)流轉(zhuǎn)；

數(shù)據(jù)生成及持久化，獲得數(shù)據(jù)生成實(shí)際值；

進(jìn)行理論值與實(shí)際值進(jìn)行對(duì)比，進(jìn)行數(shù)據(jù)生成準(zhǔn)確性判斷。

優(yōu)選的，數(shù)據(jù)生產(chǎn)請(qǐng)求階段，用于系統(tǒng)A接收請(qǐng)求生成訂單a在本月的賬單，首先將本次請(qǐng)求作為一個(gè)整體存入高效存儲(chǔ)服務(wù)器中，采用Redis內(nèi)存數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)，記錄請(qǐng)求id，此處由于不同時(shí)間可能存在不同的價(jià)格、折扣等問(wèn)題，本月賬單請(qǐng)求需要拆分成按天賬單子請(qǐng)求；

發(fā)送一次子請(qǐng)求將生成一條賬單并將上述請(qǐng)求id的賬單生成理論值+1，采用Redis中String數(shù)據(jù)類(lèi)型的INCR方法，并將本次賬單請(qǐng)求id、請(qǐng)求時(shí)間記錄到MySQL數(shù)據(jù)庫(kù)賬單請(qǐng)求表中。

優(yōu)選的，上述子請(qǐng)求采用異步消息隊(duì)列的方式發(fā)送賬單請(qǐng)求，請(qǐng)求到達(dá)系統(tǒng)B：B1、B2等，對(duì)訂單數(shù)據(jù)進(jìn)行檢驗(yàn)，并獲取訂單價(jià)格信息，通過(guò)異常捕獲記錄異常數(shù)據(jù)。

優(yōu)選的，上述子請(qǐng)求攜帶請(qǐng)求id信息經(jīng)過(guò)多個(gè)環(huán)節(jié)的數(shù)據(jù)流轉(zhuǎn)后到達(dá)數(shù)據(jù)生成系統(tǒng)C，系統(tǒng)C對(duì)生成的賬單數(shù)據(jù)進(jìn)行入庫(kù)持久化操作，并對(duì)Redis中請(qǐng)求id的實(shí)際值進(jìn)行累計(jì)，采用Redis中String數(shù)據(jù)類(lèi)型的INCR方法。

優(yōu)選的，上述賬單生成場(chǎng)景相對(duì)特殊數(shù)據(jù)產(chǎn)生理論值和實(shí)際值均為變量，系統(tǒng)D通過(guò)定時(shí)任務(wù)的方式定時(shí)將賬單產(chǎn)生的理論值與實(shí)際值進(jìn)行對(duì)比，按照當(dāng)前業(yè)務(wù)場(chǎng)景一次賬單請(qǐng)求在10分鐘以內(nèi)完成，以10分鐘作為時(shí)間周期，查詢MySQL數(shù)據(jù)庫(kù)賬單請(qǐng)求表中請(qǐng)求時(shí)間在1小時(shí)內(nèi)請(qǐng)求id，根據(jù)請(qǐng)求id查詢Redis中賬單實(shí)際值和理論值，檢驗(yàn)并記錄到賬單請(qǐng)求表中；

通過(guò)賬單請(qǐng)求表數(shù)據(jù)產(chǎn)生理論值、實(shí)際值可以直觀判斷賬單生成正確性，如果發(fā)現(xiàn)實(shí)際值和理論值存在差距，結(jié)合過(guò)程2進(jìn)行異常分析，進(jìn)行數(shù)據(jù)最終一致性補(bǔ)救處理。