[發(fā)明專利]一種交易數(shù)據(jù)的處理系統(tǒng)、處理方法、介質(zhì)和設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202111654532.3
• 申請(qǐng)日: 2021-12-30
• 公開（公告）號(hào): CN114218303B
• 公開（公告）日: 2023-03-24
• 發(fā)明（設(shè)計(jì)）人: 葉剛;張德富
• 申請(qǐng)（專利權(quán)）人: 北京宇信科技集團(tuán)股份有限公司
• 主分類號(hào): G06F16/2458
• 分類號(hào): G06F16/2458;G06F16/2453;G06F16/2455;G06F16/27;G06Q40/04;G06F3/06;G06F9/54
• 代理公司: 北京卓嵐智財(cái)知識(shí)產(chǎn)權(quán)代理有限公司 11624
• 代理人: 沈煜華

本發(fā)明提供一種交易數(shù)據(jù)的處理系統(tǒng)、處理方法、介質(zhì)和設(shè)備，該方法包括：通過數(shù)據(jù)切割服務(wù)集群將原始交易數(shù)據(jù)切割成多片子原始交易數(shù)據(jù)并存儲(chǔ)在共享磁盤對(duì)應(yīng)的目錄中；通過數(shù)據(jù)標(biāo)準(zhǔn)化服務(wù)集群監(jiān)聽并消費(fèi)每片子原始交易數(shù)據(jù)并構(gòu)建成具有順序?qū)傩缘慕灰祖溌窋?shù)據(jù)，并寫入第一消息隊(duì)列集群中對(duì)應(yīng)的緩存分片區(qū)，通過標(biāo)準(zhǔn)數(shù)據(jù)分發(fā)服務(wù)集群監(jiān)聽并消費(fèi)交易鏈路數(shù)據(jù)集合并將其中的數(shù)據(jù)分發(fā)至第二消息隊(duì)列集群中對(duì)應(yīng)的緩存分片區(qū)，得到多片子交易鏈路數(shù)據(jù)集合并監(jiān)聽分發(fā)結(jié)果；當(dāng)分發(fā)完畢后，通過第一交易數(shù)據(jù)處理服務(wù)集群監(jiān)聽并消費(fèi)分子交易鏈路數(shù)據(jù)集合，按照其中的交易步驟執(zhí)行數(shù)據(jù)處理。本發(fā)明能降低系統(tǒng)等待時(shí)間，提高交易數(shù)據(jù)處理效率。

技術(shù)領(lǐng)域

本發(fā)明涉及消費(fèi)金融交易技術(shù)領(lǐng)域，尤其涉及一種交易數(shù)據(jù)的處理系統(tǒng)、處理方法、介質(zhì)和設(shè)備。

背景技術(shù)

在日終賬務(wù)處理時(shí)，對(duì)交易數(shù)據(jù)(比如結(jié)息數(shù)據(jù))進(jìn)行核算，是一種常見的處理方式。在傳統(tǒng)技術(shù)中，針對(duì)交易數(shù)據(jù)的處理方式，一般是在日終作業(yè)時(shí)，將交易數(shù)據(jù)發(fā)送至單臺(tái)服務(wù)器進(jìn)行處理，但是，當(dāng)交易數(shù)據(jù)量特別巨大時(shí)，下游的業(yè)務(wù)處理服務(wù)資源使用率暴增，導(dǎo)致拖垮整個(gè)集群的處理效率甚至系統(tǒng)到宕機(jī)。

再者，有更多變化較少的數(shù)據(jù)被頻繁訪問，增加了數(shù)據(jù)庫(kù)的訪問壓力。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實(shí)施例的目的在于提供一種交易數(shù)據(jù)的處理系統(tǒng)、處理方法、介質(zhì)和設(shè)備，以解決現(xiàn)有技術(shù)數(shù)據(jù)處理效率低和數(shù)據(jù)庫(kù)訪問壓力大的技術(shù)問題。

為了達(dá)到上述目的，第一方面，本發(fā)明實(shí)施例提供了一種交易數(shù)據(jù)的處理方法，所述方法包括如下步驟：

步驟1：通過數(shù)據(jù)切割服務(wù)集群對(duì)原始交易數(shù)據(jù)進(jìn)行分片處理，將所述原始交易數(shù)據(jù)切割成多片子原始交易數(shù)據(jù)，并存儲(chǔ)在共享磁盤中對(duì)應(yīng)的目錄；

步驟2：通過數(shù)據(jù)標(biāo)準(zhǔn)化服務(wù)集群監(jiān)聽并消費(fèi)所述共享磁盤中的每片子原始交易數(shù)據(jù)，將所述每片子原始交易數(shù)據(jù)構(gòu)建成具有順序?qū)傩缘慕灰祖溌窋?shù)據(jù)，獲得交易鏈路數(shù)據(jù)集合，并將所述交易鏈路數(shù)據(jù)集合寫入第一消息隊(duì)列集群中對(duì)應(yīng)的緩存分片區(qū)；

步驟3：通過標(biāo)準(zhǔn)數(shù)據(jù)分發(fā)服務(wù)集群監(jiān)聽并消費(fèi)所述第一消息隊(duì)列集群中對(duì)應(yīng)的緩存分片區(qū)中的交易鏈路數(shù)據(jù)集合，將所述交易鏈路數(shù)據(jù)集合中的數(shù)據(jù)分發(fā)至第二消息隊(duì)列集群中對(duì)應(yīng)的緩存分片區(qū)，得到多片子交易鏈路數(shù)據(jù)集合，并監(jiān)聽分發(fā)結(jié)果；

步驟4：當(dāng)分發(fā)結(jié)果為分發(fā)完畢后，通過第一交易數(shù)據(jù)處理服務(wù)集群監(jiān)聽并消費(fèi)分發(fā)至第二消息隊(duì)列集群中的緩存分片區(qū)中的子交易鏈路數(shù)據(jù)集合，按照子交易鏈路數(shù)據(jù)集合中的交易步驟執(zhí)行數(shù)據(jù)處理，并將執(zhí)行數(shù)據(jù)處理的結(jié)果持久化至數(shù)據(jù)庫(kù)。

在一些可能的實(shí)施方式中，步驟1具體包括：

步驟1.1：?jiǎn)?dòng)切割任務(wù)定時(shí)器，當(dāng)滿足切割條件時(shí)，所述切割任務(wù)定時(shí)器觸發(fā)數(shù)據(jù)切割服務(wù)集群對(duì)原始交易數(shù)據(jù)進(jìn)行切割；

步驟1.2：所述數(shù)據(jù)切割服務(wù)集群按照哈希取模的方式獲得每行原始交易數(shù)據(jù)的分片索引；

步驟1.3：所述數(shù)據(jù)切割服務(wù)集群根據(jù)所述分片索引將每行原始交易數(shù)據(jù)分別寫入第一消息隊(duì)列集群中對(duì)應(yīng)的緩存分片區(qū)，得到多片原始交易數(shù)據(jù)。

在一些可能的實(shí)施方式中，步驟2具體包括：

步驟2.1：數(shù)據(jù)標(biāo)準(zhǔn)化服務(wù)集群監(jiān)聽并消費(fèi)所述共享磁盤中的每片子原始交易數(shù)據(jù)，對(duì)每片子原始交易數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，得到標(biāo)準(zhǔn)交易數(shù)據(jù)；

步驟2.2：數(shù)據(jù)標(biāo)準(zhǔn)化服務(wù)集群對(duì)所述標(biāo)準(zhǔn)交易數(shù)據(jù)進(jìn)行校驗(yàn)；

步驟2.3：數(shù)據(jù)標(biāo)準(zhǔn)化服務(wù)集群將校驗(yàn)合格的標(biāo)準(zhǔn)交易數(shù)據(jù)構(gòu)建成具有順序?qū)傩缘慕灰祖溌窋?shù)據(jù)集合；

步驟2.4：數(shù)據(jù)標(biāo)準(zhǔn)化服務(wù)集群將所述交易鏈路數(shù)據(jù)集合緩存在對(duì)應(yīng)的第一消息隊(duì)列集群中的緩存分片區(qū)。

在一些可能的實(shí)施方式中，步驟2.3還包括：