[發明專利]數據存儲及對賬方法和系統

在審

• 申請號: 202010940203.4
• 申請日: 2020-09-09
• 公開（公告）號: CN112069260A
• 公開（公告）日: 2020-12-11
• 發明（設計）人: 那勇;其他發明人請求不公開姓名
• 申請（專利權）人: 中國人民銀行清算總中心
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/23;G06F16/901;G06Q40/04
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 趙平;周永君

本發明提供了數據存儲及對賬方法和系統，所述方法包含：根據預設時間N于遠端數據庫中采集交易數據，根據采集所述交易數據的采集時間構建存儲目錄；通過所述存儲目錄將所述交易數據的數據明細存入預定分布式存儲系統；根據所述存儲目錄生成RowKey，通過所述RowKey將目標數據的交易筆數和交易金額存儲至預定開源數據庫；根據預定開源數據庫和分布式存儲系統對預設時間M內多個預設時間N采集的交易數據進行對賬處理，獲得對賬結果。

技術領域

本發明涉及數據處理領域，尤指一種數據存儲及對賬方法和系統。

背景技術

CAP(Consistency：一致性、Availability：可用性、Partition tolerance：分區容忍性)理論描述的對象是一個分布式系統，其中C表示從客戶端來的讀請求訪問任何一個分布式系統節點，一定能讀到最近的一次寫請求的結果；A表示訪問任何一個還存活的分布式系統節點，一定能夠在一個時間范圍內返回一個肯定的結果(成功或者失敗，不能是超時或者錯誤)；P表示網絡中允不允許節點間消息傳遞丟失。HDFS是一個分布式存儲系統，對于任何一個分布式系統，最多只能滿足CAP三點中的兩點，不可能同時滿足全部。比如HDFS的最小寫副本數為N，如果N為1,則無法保證P，因為HDFS在同步單副本的Block到其他節點時，如何DataNode服務異常，則單副本的Block數據將永久丟失，相當于無法保證P。如果1N＝X,比如X等于3，則在這種情況下會有3個DataNode建立連接，且須同時寫成功3個副本，如果3個副本其中任一個副本沒有確認寫成功前，寫入的數據則無法被外部使用，這相當于犧牲了A；當HDFS采用多副本策略時，對于每一個DataNode，其正在被寫入的Block會記錄一個當前已確認寫入數據的ackOffset，它決定了當有Client在本DataNode讀取數據時，可以返回給Client能夠讀取的數據邊界。當最后一個副本所在DataNode將數據寫入后會更新當前自己的ackOffset，之后發送一個ack給它上游的DataNode，上游DataNode收到這個ack后也更新自己的ackOffset，然后同樣發送ack給自己上游的DataNode，這個過程理論上會出現當ack在多個DataNode中傳遞時，不同的Client會讀取到不同的DataNode，導致讀取的數據不一致，這相當于犧牲了C。

由此可看出，現有的HDFS不能同時滿足CAP的要求，因此業內亟需一種對于數據一致性、可用性、分區容忍性的保障機制，間接滿足CAP理論的要求。

發明內容

本發明目的在于提供一種數據存儲及對賬方法和系統，以使得分布式存儲系統可間接滿足CAP，保證分布式存儲的一致性、可用性、分區容忍性的要求。

為達上述目的，本發明所提供的數據存儲及對賬方法，具體包含：根據第一預設時間于源端數據庫中采集交易數據，根據采集所述交易數據的采集時間構建存儲目錄；通過所述存儲目錄將所述交易數據的數據明細存入預定的分布式存儲系統；根據所述存儲目錄生成RowKey，通過所述RowKey將所述目標數據的交易筆數和交易金額存儲至預定的開源數據庫；根據開源數據庫和分布式存儲系統對第二預設時間內N個第一預設時間采集的交易數據進行對賬處理獲得對賬結果；N為大于等于1的整數。

在上述數據存儲及對賬方法，優選的，根據采集所述交易數據的采集時間構建存儲目錄包含：根據采集所述交易數據的起始時間戳和結束時間戳構建存儲目錄。

在上述數據存儲及對賬方法，優選的，所述第一預設時間為10分鐘，所述第二預設時間為24小時。

在上述數據存儲及對賬方法，優選的，根據預定開源數據庫和分布式存儲系統對第二預設時間內N個第一預設時間采集的交易數據進行對賬處理獲得對賬結果包含：統計分布存儲系統中N個第一預設時間采集的交易數據所對應的交易筆數和交易金額；根據所述存儲目錄將統計的交易筆數和交易金額分別與開源數據庫中對應存儲的交易筆數和交易金額比較，獲得對賬結果。