[發明專利]數據存儲方法和裝置

有效

• 申請號: 201611245644.2
• 申請日: 2016-12-29
• 公開（公告）號: CN108255855B
• 公開（公告）日: 2021-10-08
• 發明（設計）人: 相利;王昌坤
• 申請（專利權）人: 北京國雙科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/11
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王寶筠

本發明實施例公開了一種數據存儲方法和裝置，用于提高數據寫入數據庫的效率。本發明實施例方法包括：從文件系統的目錄中實時獲取目標數據；將所述目標數據保存在分布式數據庫的數據目錄中；將所述目標數據從所述數據目錄加載到所述分布式數據庫的預先建立的外部表中。這樣，分布式數據庫從文件系統的目錄中獲取目標數據，再通過分布式數據庫上的數據目錄對目標數據進行傳遞，將該目標數據保存在分布式數據庫的外部表中，實現了以較高的效率將數據寫入分布式數據庫，且數據的準確寫入得到了保證。

技術領域

本發明涉及數據處理領域，尤其涉及一種數據存儲方法和裝置。

背景技術

數據的快速計算與查詢作為實時計算研究的熱點，如何快速地將數據寫入到數據庫，在現今，受到了各方用戶的關注，尤其是在大數據時代，用戶對快速向數據庫寫入數據的需求越來越大。

對此，現有的解決方法是，計算設備處理數據后，直接向數據庫寫入處理完成的數據。例如，通過JDBC方式連接到GreenPlum集群，獲取鏈接后將數據寫入到GreenPlum集群。

這樣的方式，會導致數據寫入效率低，不能滿足大數據量實時存儲的需求。

發明內容

本發明實施例提供了一種數據存儲方法和裝置，用于提高數據寫入數據庫的效率。

為了解決上述技術問題，本發明實施例提供了以下技術方案：

一種數據存儲方法，所述方法包括：

從文件系統的目錄中實時獲取目標數據；

將所述目標數據保存在分布式數據庫的數據目錄中；

將所述目標數據從所述數據目錄加載到所述分布式數據庫的預先建立的外部表中。

為了解決上述技術問題，本發明實施例還提供了以下技術方案：

一種數據存儲裝置，所述裝置包括：

獲取單元，用于從文件系統的目錄中實時獲取目標數據；

保存單元，用于將所述目標數據保存在分布式數據庫的數據目錄中；

第一加載單元，用于將所述目標數據從所述數據目錄加載到所述分布式數據庫的預先建立的外部表中。

從以上技術方案可以看出，本發明實施例具有以下優點：

從文件系統的目錄中實時獲取目標數據后，將所述目標數據保存在分布式數據庫的數據目錄中，再將所述目標數據從所述數據目錄加載到所述分布式數據庫的預先建立的外部表中。這樣，分布式數據庫從文件系統的目錄中獲取目標數據，再通過分布式數據庫上的數據目錄對目標數據進行傳遞，將該目標數據保存在分布式數據庫的外部表中，實現了以較高的效率將數據寫入分布式數據庫，且數據的準確寫入得到了保證。

附圖說明

圖1為本發明一實施例提供的一種數據存儲方法的方法流程圖；

圖2為本發明另一實施例提供的一種數據存儲方法的方法流程圖；

圖3為圖2所示的實施例的方法所涉及的具體使用場景圖；

圖4為本發明另一實施例提供的一種數據存儲裝置的結構示意圖。

具體實施方式

本發明實施例提供了一種數據存儲方法和裝置，用于提高數據寫入數據庫的效率。

圖1為本發明實施例提供的一種數據存儲方法的方法流程圖，參閱圖1本發明實施例的方法包括：

步驟101：從文件系統的目錄中實時獲取目標數據；

步驟102：將目標數據保存在分布式數據庫的數據目錄中；