[發(fā)明專利]確定斷鏈數(shù)據(jù)的方法、裝置及非易失性存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110064688.X
• 申請(qǐng)日: 2021-01-18
• 公開(kāi)（公告）號(hào): CN112749167A
• 公開(kāi)（公告）日: 2021-05-04
• 發(fā)明（設(shè)計(jì)）人: 李冉;陳震宇;劉國(guó)華
• 申請(qǐng)（專利權(quán)）人: 中國(guó)郵政儲(chǔ)蓄銀行股份有限公司
• 主分類號(hào): G06F16/22
• 分類號(hào): G06F16/22;G06F16/2458;G06F16/27
• 代理公司: 北京康信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11240
• 代理人: 霍文娟

本發(fā)明公開(kāi)了一種確定斷鏈數(shù)據(jù)的方法、裝置及非易失性存儲(chǔ)介質(zhì)。其中，該方法包括：獲取大數(shù)據(jù)平臺(tái)中的數(shù)據(jù)鏈表，上述數(shù)據(jù)鏈表包括：表主鍵和閉鏈日期；分別以上述表主鍵和上述閉鏈日期作為分布式開(kāi)源數(shù)據(jù)庫(kù)的行主鍵和鍵值；在檢測(cè)到上述大數(shù)據(jù)平臺(tái)接收到業(yè)務(wù)數(shù)據(jù)時(shí)，基于上述行主鍵和上述鍵值比對(duì)上述業(yè)務(wù)數(shù)據(jù)和上述分布式開(kāi)源數(shù)據(jù)庫(kù)中的存儲(chǔ)數(shù)據(jù)，以確定上述業(yè)務(wù)數(shù)據(jù)是否為斷鏈數(shù)據(jù)。本發(fā)明解決了現(xiàn)有技術(shù)中查詢斷鏈數(shù)據(jù)的方案按照主鍵進(jìn)行分組并按照開(kāi)鏈日期進(jìn)行排序，會(huì)消耗大量的計(jì)算機(jī)內(nèi)存資源且運(yùn)行時(shí)間長(zhǎng)，影響計(jì)算效率的技術(shù)問(wèn)題。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理領(lǐng)域，具體而言，涉及一種確定斷鏈數(shù)據(jù)的方法、裝置及非易失性存儲(chǔ)介質(zhì)。

背景技術(shù)

現(xiàn)有技術(shù)中在執(zhí)行源系統(tǒng)數(shù)據(jù)入庫(kù)大數(shù)據(jù)平臺(tái)的操作，在解決如何發(fā)現(xiàn)業(yè)務(wù)數(shù)據(jù)的斷鏈問(wèn)題，目前采取的處理方式如下：通過(guò)Hive數(shù)倉(cāng)工具，編寫HQL語(yǔ)句對(duì)拉鏈表以主鍵進(jìn)行分組，并按開(kāi)鏈日期進(jìn)行排序；將上步分組排序的結(jié)果存入臨時(shí)表中，以減少內(nèi)存開(kāi)銷；將臨時(shí)表進(jìn)行自關(guān)聯(lián)，對(duì)于主鍵相同，但上一條業(yè)務(wù)數(shù)據(jù)的閉鏈日期不等于該條數(shù)據(jù)的開(kāi)鏈日期的數(shù)據(jù)進(jìn)行查詢，如果存在這樣的數(shù)據(jù)就說(shuō)明業(yè)務(wù)數(shù)據(jù)存在斷鏈的情況。

但是，上述目前查詢斷鏈數(shù)據(jù)的方案存在如下缺點(diǎn)：由于很多表中數(shù)據(jù)量具大，按照主鍵進(jìn)行分組并按照開(kāi)鏈日期進(jìn)行排序，會(huì)消耗大量的計(jì)算機(jī)內(nèi)存資源，而且運(yùn)行時(shí)間很長(zhǎng)，影響計(jì)算效率。

針對(duì)上述的問(wèn)題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了一種確定斷鏈數(shù)據(jù)的方法、裝置及非易失性存儲(chǔ)介質(zhì)，以至少解決現(xiàn)有技術(shù)中查詢斷鏈數(shù)據(jù)的方案按照主鍵進(jìn)行分組并按照開(kāi)鏈日期進(jìn)行排序，會(huì)消耗大量的計(jì)算機(jī)內(nèi)存資源且運(yùn)行時(shí)間長(zhǎng)，影響計(jì)算效率的技術(shù)問(wèn)題。

根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供了一種確定斷鏈數(shù)據(jù)的方法，包括：獲取大數(shù)據(jù)平臺(tái)中的數(shù)據(jù)鏈表，上述數(shù)據(jù)鏈表包括：表主鍵和閉鏈日期；分別以上述表主鍵和上述閉鏈日期作為分布式開(kāi)源數(shù)據(jù)庫(kù)的行主鍵和鍵值；在檢測(cè)到上述大數(shù)據(jù)平臺(tái)接收到業(yè)務(wù)數(shù)據(jù)時(shí)，基于上述行主鍵和上述鍵值比對(duì)上述業(yè)務(wù)數(shù)據(jù)和上述分布式開(kāi)源數(shù)據(jù)庫(kù)中的存儲(chǔ)數(shù)據(jù)，以確定上述業(yè)務(wù)數(shù)據(jù)是否為斷鏈數(shù)據(jù)。

可選的，至少通過(guò)如下方式發(fā)送上述業(yè)務(wù)數(shù)據(jù)至上述大數(shù)據(jù)平臺(tái)：通過(guò)業(yè)務(wù)源系統(tǒng)獲取每日業(yè)務(wù)過(guò)程中生成的全部的業(yè)務(wù)數(shù)據(jù)，并通過(guò)服務(wù)總線將上述業(yè)務(wù)數(shù)據(jù)發(fā)送至上述大數(shù)據(jù)平臺(tái)。

可選的，上述方法還包括：在上述大數(shù)據(jù)平臺(tái)接收到上述業(yè)務(wù)數(shù)據(jù)后，對(duì)上述業(yè)務(wù)數(shù)據(jù)進(jìn)行解析得到解析結(jié)果，并基于上述解析結(jié)果驗(yàn)證上述業(yè)務(wù)數(shù)據(jù)是否完整傳輸，其中，至少驗(yàn)證上述業(yè)務(wù)數(shù)據(jù)的字段名稱、字段個(gè)數(shù)、字段類型。

可選的，基于上述行主鍵和上述鍵值比對(duì)上述業(yè)務(wù)數(shù)據(jù)和上述分布式開(kāi)源數(shù)據(jù)庫(kù)中的存儲(chǔ)數(shù)據(jù)，以確定上述業(yè)務(wù)數(shù)據(jù)是否為斷鏈數(shù)據(jù)，包括：若上述大數(shù)據(jù)平臺(tái)中不存在上述業(yè)務(wù)數(shù)據(jù)，則基于上述行主鍵和上述鍵值，則將上述業(yè)務(wù)數(shù)據(jù)與上述存儲(chǔ)數(shù)據(jù)進(jìn)行比對(duì)，確定上述存儲(chǔ)數(shù)據(jù)中是否包含上述業(yè)務(wù)數(shù)據(jù)；如果上述存儲(chǔ)數(shù)據(jù)中未包含上述業(yè)務(wù)數(shù)據(jù)，則對(duì)上述大數(shù)據(jù)平臺(tái)執(zhí)行開(kāi)鏈操作以新增上述業(yè)務(wù)數(shù)據(jù)，并記錄上述業(yè)務(wù)數(shù)據(jù)的最新有效狀態(tài)；如果上述存儲(chǔ)數(shù)據(jù)中包含上述業(yè)務(wù)數(shù)據(jù)，則確定上述業(yè)務(wù)數(shù)據(jù)為上述斷鏈數(shù)據(jù)。

可選的，基于上述行主鍵和上述鍵值比對(duì)上述業(yè)務(wù)數(shù)據(jù)和上述分布式開(kāi)源數(shù)據(jù)庫(kù)中的存儲(chǔ)數(shù)據(jù)，以確定上述業(yè)務(wù)數(shù)據(jù)是否為斷鏈數(shù)據(jù)，包括：若上述大數(shù)據(jù)平臺(tái)中存在上述業(yè)務(wù)數(shù)據(jù)，則基于上述行主鍵和上述鍵值，則將上述業(yè)務(wù)數(shù)據(jù)與上述存儲(chǔ)數(shù)據(jù)進(jìn)行比對(duì)，確定上述存儲(chǔ)數(shù)據(jù)中是否包含上述業(yè)務(wù)數(shù)據(jù)；如果上述存儲(chǔ)數(shù)據(jù)中包含上述業(yè)務(wù)數(shù)據(jù)，則對(duì)上述業(yè)務(wù)數(shù)據(jù)進(jìn)行字段分析，如果上述業(yè)務(wù)數(shù)據(jù)的字段與已存在業(yè)務(wù)數(shù)據(jù)的字段存在差異，則對(duì)上述大數(shù)據(jù)平臺(tái)執(zhí)行閉鏈操作，并對(duì)上述大數(shù)據(jù)平臺(tái)執(zhí)行重新開(kāi)鏈操作以新增上述業(yè)務(wù)數(shù)據(jù)，并記錄上述業(yè)務(wù)數(shù)據(jù)的最新有效狀態(tài)。

可選的，上述方法還包括：若上述大數(shù)據(jù)平臺(tái)中存在上述業(yè)務(wù)數(shù)據(jù)，且業(yè)務(wù)源系統(tǒng)中不存在上述業(yè)務(wù)數(shù)據(jù)，則對(duì)上述大數(shù)據(jù)平臺(tái)執(zhí)行閉鏈操作，并將上述業(yè)務(wù)數(shù)據(jù)標(biāo)記為無(wú)效狀態(tài)。