[發明專利]一種數據存儲方法、裝置、系統及介質

有效

• 申請號: 201910554958.8
• 申請日: 2019-06-25
• 公開（公告）號: CN110245148B
• 公開（公告）日: 2021-03-23
• 發明（設計）人: 李楊;閆旭;楊得力;牛魏書;霍浩
• 申請（專利權）人: 河南中原消費金融股份有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/27;G06F16/28
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 丁曼曼

本發明公開了一種數據存儲方法、裝置、系統及介質。該方法應用于同步數據庫，步驟包括：預先執行與源系統數據庫的數據同步操作，保持與源系統數據庫中的數據一致；判斷是否滿足預設的存儲觸發條件；如果是，則停止數據同步操作，并將本地的當前數據作為時點數據以供數據倉庫獲取并存儲。由于當同步數據庫滿足預設的存儲觸發條件的時候，同步數據庫即停止與源系統數據庫之間的數據同步操作，因此同步數據庫中的數據內容將始終保持為源系統數據庫在某一時刻下對應的數據內容，進而數據倉庫通過同步數據庫獲取源系統數據庫在某一時刻的數據內容，能夠確保數據倉庫中所存儲的數據的準確性。此外，本發明還提供一種數據存儲裝置、系統及介質。

技術領域

本發明涉及數據存儲領域，特別是涉及一種數據存儲方法、裝置、系統及介質。

背景技術

一直以來，數據倉庫一直是各個大型企業用于做決策分析的平臺，傳統的數據倉庫多應用于如銀行、保險公司、能源公司等傳統企業中。隨著大數據技術的火熱，基于Hadoop的新型數據倉庫逐漸成為當前的主流的數據倉庫形式，Hadoop利用分布式管理的技術體系，將廉價的PC Server等機器和存儲整合在一起構成一個具有強大計算能力和存儲能力的平臺，在該平臺上，存儲空間能夠趨近于無限大，因此有越來越多的企業級數據倉庫向著大數據基礎的數據倉庫轉型或者融合傳統數據倉庫和新型大數據倉庫的方向轉變。

不論使用什么類型的數據倉庫，其最重要的操作是需要對源系統數據庫內的數據進行匯總及存儲。例如，在當前的應用場景中，各個企業的業務系統，即源系統數據庫，往往需要按照一定的周期，如12小時或24小時，在周期結束的時刻將該時刻下的業務數據，即時點數據，以文件的形式提供并存儲至數據倉庫，此過程中數據的一致性由源系統數據庫保證，但是由于源系統數據庫中的業務數據是根據業務情況時刻變化的，而源系統數據庫中的時點數據完全存儲至數據倉庫需要一定的處理周期，因此如果在該處理周期內，源系統數據庫中尚未存儲至數據倉庫的業務數據發生了變化，則最終存儲至數據倉庫的時點數據將出現錯誤，把本不應該加載到數據倉庫的數據加載到了數據倉庫中，通常被稱為“數據漂移”，而數據倉庫作為源系統數據庫的一個下游系統，無法保證該份數據的準確性，一旦源系統數據庫的數據文件發生變化則無法找回該周期結束時刻正確的時點數據，難以確保數據倉庫中所存儲的數據的準確性。

由此可見，提供一種數據存儲方法，以確保數據倉庫中所存儲的數據的準確性，是本領域技術人員需要解決的技術問題。

發明內容

本發明的目的是提供一種數據存儲方法、裝置、系統及介質，以確保數據倉庫中所存儲的數據的準確性。

為解決上述技術問題，本發明提供一種數據存儲方法，應用于同步數據庫，包括：

預先執行與源系統數據庫的數據同步操作，保持與源系統數據庫中的數據一致；

判斷是否滿足預設的存儲觸發條件；

如果是，則停止數據同步操作，并將本地的當前數據作為時點數據以供數據倉庫獲取并存儲。

優選的，判斷是否滿足預設的存儲觸發條件包括：

判斷當前時刻是否處于目標時刻點，或判斷是否傳入有觸發指令。

優選的，在預先執行與源系統數據庫的數據同步操作，保持與源系統數據庫中的數據一致之前，方法還包括：

判斷是否同步數據庫與源系統數據庫之間的SQL語法兼容且源系統數據庫中執行的SQL語句未包含有函數；

如果是，則預先執行與源系統數據庫的數據同步操作，保持與源系統數據庫中的數據一致，包括：

預先通過獲取并執行源系統數據庫中執行的SQL語句，保持與源系統數據庫中的數據一致；

否則，預先執行與源系統數據庫的數據同步操作，保持與源系統數據庫中的數據一致，包括：