[發明專利]一種大數據存儲方法和系統

在審

• 申請號: 201810155732.6
• 申請日: 2018-02-23
• 公開（公告）號: CN108304572A
• 公開（公告）日: 2018-07-20
• 發明（設計）人: 蘇家怡;魏烈龍;鐘國文;黃海華
• 申請（專利權）人: 廣州天維信息技術股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 廣州一銳專利代理有限公司 44369
• 代理人: 甘奎強

本發明涉及一種大數據存儲方法和系統，所述方法包括：將源表中的當前最新的數據存儲在當前快照表中，這樣可以快速響應查詢服務請求；將所述當前快照表中當天變動的數據按照時間拉鏈方式存儲在歷史拉鏈表中，實現對歷史任意時間點的數據查詢；將歷史拉鏈表中當天公共的業務數據匯總存儲在過渡臨時表中，用于系統當前反復統計使用，提高系統統計效率，降低邏輯難度；根據業務需求，對過渡臨時表中的數據進行不同維度的組合并存儲在總賬壓縮表中，用于系統快速統計不同業務維度的數據，這樣將大數據按照不同需要進行分割存儲，能夠很大程度上提供存儲性能，提高工作人員的工作效率。

技術領域

本發明涉及數據存儲技術領域，特別是涉及一種大數據存儲方法和系統。

背景技術

目前績效考核系統是銀行重點建設的信息系統之一，對銀行的發展極具戰略意義。銀行每天產生的日常業務數據非常龐大，因此銀行如何建立一個高性能、高容量、靈活伸縮擴展、自動歸檔數據的數據存儲機制非常重要?，F有銀行績效系統的數據存儲普遍存在如下缺點：1、存儲的單表業務數據量大，查詢效率非常慢，不能快速響應業務請求；2、存儲的數據沒有歷史記錄機制，無法查看以往時點狀態的數據，只能查看當前最新的業務數據；3、沒有臨時使用機制，每次需要關聯查詢多個業務表，導致查詢邏輯復雜，效率低下；4、不能快速查詢任意維度的匯總數據，只能從帳戶粒度的大量數據表進行匯總查詢；5、沒有歸檔邏輯，表數據量持續增長，導致最后無法訪問；6、不能按業務重要性進行數據快速備份、恢復；7、不能針對性的對高頻數據，大表進行內存優化。

發明內容

為了克服現有技術存在的銀行系統還沒有一個高性能、高容量、靈活伸縮擴展、自動歸檔數據的數據存儲機制不足，本發明提供了一種大數據存儲方法和系統。

本發明解決其技術問題所采用的技術方案是：

一種大數據存儲方法，包括：將源表中的當前最新的數據存儲在當前快照表中；將所述當前快照表中當天變動的數據按照時間拉鏈方式存儲在歷史拉鏈表中；將歷史拉鏈表中當天公共的業務數據匯總存儲在過渡臨時表中；根據業務需求，對過渡臨時表中的數據進行不同維度的組合并存儲在總賬壓縮表中。

優選地，將源表中的當前最新的數據存儲在當前快照表中的步驟包括：將當前快照表的數據設置第一標識；將源表的數據設置第二標識，且所述源表的數據存在于當前快照表中；將所述第一標識和第二標識進行關聯。

優選地，將所述當前快照表中當天變動的數據按照時間拉鏈方式存儲在歷史拉鏈表中的步驟包括：刪除歷史拉鏈表中的舊數據，修改預設結束日期；或者在統計日期為年初時，若歷史拉鏈表中有數據時，則對所述數據進行截斷；若歷史拉鏈表中沒有數據時，將當前快照表的所有數據導到歷史拉鏈表中，確定起始日期為統計日期；若統計日期不為年初時，若歷史拉鏈表中有數據，總歷史拉鏈表中結束日期等于預設結束日期，且其起始日期小于統計日期的數據關聯到當前快照表，并進行數據截斷；若歷史拉鏈表中沒有數據，將存在于當前快照表的數據，從當前快照表直接導到歷史拉鏈表，并確定起始日期為統計日期。

優選地，在統計日期為年初時，若歷史拉鏈表中有數據時，則對所述數據進行截斷的步驟包括：將歷史拉鏈表的中數據的起始日期小于統計日期的數據的預設結束日期修改為統計日期的前一天；將當前快照表的所有數據導到歷史拉鏈表，起始日期為統計日期。

優選地，若統計日期不為年初時，若歷史拉鏈表中有數據，總歷史拉鏈表中結束日期等于預設結束日期，且其起始日期小于統計日期的數據關聯到當前快照表，并進行數據截斷的步驟包括：將修改歷史拉鏈表中數據的預設結束日期為統計日期的前一天；將當前快照表的數據導到歷史拉鏈表，起始日期確定為統計日期。

優選地，將歷史拉鏈表中當天公共的業務數據匯總存儲在過渡臨時表中的步驟包括：獲取統計日期當天的當前快照表或者歷史拉鏈表中的所有數據，對所述數據進行業務邏輯運算，并保存到過渡臨時表中。