[發明專利]一種數據存儲方法、裝置及計算機設備

在審

• 申請號: 202110235825.1
• 申請日: 2021-03-03
• 公開（公告）號: CN112883065A
• 公開（公告）日: 2021-06-01
• 發明（設計）人: 張鵬;李江;李春江;孫凡凱;常禹;張立本
• 申請（專利權）人: 中煤航測遙感集團有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/27;G06F3/06
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 張萌

本發明提供一種數據存儲方法、裝置及計算機設備。該數據存儲方法包括：首先接收存儲指令，存儲指令用于指示請求存儲的目標數據，然后判斷緩存數據庫中是否存儲有數據。若緩存數據庫中沒有存儲數據，則從原始數據庫中獲取目標數據并存儲到云端數據庫，若緩存數據庫中存儲有數據，則從緩存數據庫和/或原始數據庫中獲取目標數據并存儲到云端數據庫。本發明提供的數據存儲方法，減少了對原始數據庫的訪問，提高讀取效率，加快數據采集和存儲的過程。

技術領域

本發明涉及數據交互領域，尤其涉及一種數據存儲方法、裝置及計算機設備。

背景技術

隨著數據中臺的概念的形成和數據倉庫技術的發展，數據集成技術成為各個企業關注和研究的焦點，國內外企業和技術人員對數據倉庫技術(Extract Transform Load，簡稱ETL)進行了大量研究,同時提出了多種多樣的解決方案。ETL用來描述將數據從來源端經過抽取(extract)、轉換(transform)、加載(load)至目的端的過程。在具體工作過程中，由于數據量龐大以及數據之間關系復雜導致數據讀取時間過長，而ETL主要過程中的抽取即采集過程又是整個ETL過程的瓶頸。

傳統的數據采集方式，是通過外部接口和數據庫直連的形式直接對數據庫進行訪問。在涉及多次查詢時，頻繁訪問數據源，最終導致數據源因為連接數量過大而對正在運轉的系統造成影響。

可見，現有的單一數據庫訪問方案存在數據庫訪問過大影響程序正常運行的技術問題。

發明內容

為了解決上述技術問題，本發明提供了一種數據存儲方法、裝置及計算機設備，具體方案如下：

第一方面，本申請實施例提供了一種數據存儲方法，所述方法包括：

接收存儲指令，所述存儲指令用于指示請求存儲的目標數據；

判斷緩存數據庫中是否存儲有數據；

若所述緩存數據庫中沒有存儲數據，則從原始數據庫中獲取所述目標數據并存儲到云端數據庫；

若所述緩存數據庫中存儲有數據，則從所述緩存數據庫和/或所述原始數據庫中獲取所述目標數據并存儲到所述云端數據庫。

根據本申請公開的一種具體實施方式，若所述緩存數據庫中沒有存儲數據，所述方法還包括:

將所述目標數據存儲到所述緩存數據庫。

根據本申請公開的一種具體實施方式，從所述緩存數據庫和/或所述原始數據庫中獲取所述目標數據并存儲到所述云端數據庫的步驟，包括:

判斷所述緩存數據庫中是否存儲有全部的所述目標數據；

若所述緩存數據庫中存儲有全部的所述目標數據，則從所述緩存數據庫中獲取所述目標數據并存儲到所述云端數據庫；

若所述緩存數據庫中未存儲全部的所述目標數據，則從所述緩存數據庫和所述原始數據庫中獲取全部的所述目標數據并存儲到所述云端數據庫。

根據本申請公開的一種具體實施方式，從所述緩存數據庫和所述原始數據庫中獲取全部的所述目標數據并存儲到所述云端數據庫的步驟，包括：

確定所述緩存數據庫內存儲的所述目標數據的第一子集數據，以及所述緩存數據庫內未存儲的所述目標數據的第二子集數據；

將所述原始數據庫內的所述第二子集數據存儲到所述緩存數據庫；

將所述緩存數據庫中的第一子集數據和所述第二子集數據存儲到所述云端數據庫。

根據本申請公開的一種具體實施方式，所述方法還包括：

按照預設的檢測周期或者在接收到所述存儲指令時，檢測所述原始數據庫中是否存在改動數據；