[發明專利]一種實時數據存儲方法、設備、存儲介質

在審

• 申請號: 202010135560.3
• 申請日: 2020-03-02
• 公開（公告）號: CN111352897A
• 公開（公告）日: 2020-06-30
• 發明（設計）人: 沈漢標;王妙玉;童威云;吳寧泉;周小橋
• 申請（專利權）人: 廣東科徠尼智能科技有限公司
• 主分類號: G06F16/11
• 分類號: G06F16/11;G06F16/16;G06F16/172
• 代理公司: 廣州市越秀區哲力專利商標事務所(普通合伙) 44288
• 代理人: 成嬋娟

本發明公開了一種實時數據存儲的方法、存儲介質、設備，包括以下步驟：S1、實時讀取外部流式數據源數據，并保存至大數據平臺，生成多個小文件；S2、定時啟動合并程序，合并所述小文件；S3、通過多線程讀取所述小文件，將所述小文件多線程合并成預設大小的數據文件；S4、自動刪除大數據平臺中的小文件。本發明所提供實時數據存儲的方法、存儲介質、設備，實現高效實時文件存儲，降低數據文件占用的空間，提高計算引擎的計算速度。

技術領域

本發明涉及信息處理技術領域，尤其涉及一種實時數據存儲方法、設備、存儲介質。

背景技術

隨著大數據技術的發展，計算引擎不斷優化和更新已經基本解決引擎的瓶頸。但隨著數據量的增加，數據如何高效存儲也是一個重要話題，數據實時和高效存儲也顯得非常重要。數據抽取工具也有很多，例如：sqoop、dataX等；可供選擇的文件結構的有parquet、orc、txt、csv等，其中parquet是業界比較公認大數據文件結構，壓縮比高，存儲快。如果采用流式(實時)計算存儲數據時，把數據可以存儲為parquet文件，能很快的存儲到數據倉庫，但是同時會形成非常多小文件，基本是一條記錄生成一條小文件，導致數據文件占用空間大、計算引擎的計算速度大幅度減慢，降低了數據存儲的效率。

發明內容

為了克服現有技術的不足，本發明的目的在于提供一種實時數據存儲方法、設備及其存儲介質，實現高效實時文件存儲，降低數據文件占用的空間，提高計算引擎的計算速度。

本發明的目的之一采用如下技術方案實現：

一種實時數據存儲的方法，包括以下步驟：

S1、實時讀取外部流式數據源數據，并保存至大數據平臺，生成多個小文件；

S2、定時啟動合并程序，合并所述小文件；

S3、通過多線程讀取所述小文件，將所述小文件多線程合并成預設大小的數據文件；

S4、自動刪除大數據平臺中的小文件。

進一步地，所述外部流式數據源為Kafka集群。

進一步地，所述小文件為parquet文件結構。

進一步地，S3中，將所述小文件分批合并至64M。

進一步地，S2中每個小時啟動合并程序。

進一步地，S1中通過sparkStreaming流式并發實時讀取數據源數據。

進一步地，所述數據源為外部流式數據源。

進一步地，所述大數據平臺每秒讀取外部流式數據源數據。

本發明的目的之二采用如下技術方案實現：

一種設備，其包括處理器、存儲器及存儲于所述存儲器上并可在所述處理器上運行的計算機程序，所述處理器執行所述計算機程序時實現如上述的一種實時數據存儲的方法。

本發明的目的之三采用如下技術方案實現：

一種存儲介質，其上存儲有計算機程序，所述計算機程序被執行時實現權利要求如上所述的一種實時數據存儲的方法。

相比現有技術，本發明的有益效果在于：

本發明提供了一種實時數據存儲的方法、設備、存儲介質，在大數據分析處理過程中，實時讀取外部數據源的數據，將外部數據源生成多個小文件，將小文件合并且定時清除，提高計算速率，為數據分析提供了較好的數據環境，縮短數據處理周期，降低數據文件占用的空間。

附圖說明

圖1為本發明所提供實施例一的流程示意圖；

圖2為本發明所提供實施例一的示意圖；