[發明專利]一種實時數據存儲方法、設備、存儲介質

在審

• 申請號: 202010135560.3
• 申請日: 2020-03-02
• 公開（公告）號: CN111352897A
• 公開（公告）日: 2020-06-30
• 發明（設計）人: 沈漢標;王妙玉;童威云;吳寧泉;周小橋
• 申請（專利權）人: 廣東科徠尼智能科技有限公司
• 主分類號: G06F16/11
• 分類號: G06F16/11;G06F16/16;G06F16/172
• 代理公司: 廣州市越秀區哲力專利商標事務所(普通合伙) 44288
• 代理人: 成嬋娟

1.一種實時數據存儲的方法，其特征在于，包括以下步驟：

S1、實時讀取外部流式數據源數據，并保存至大數據平臺，生成多個小文件；

S2、定時啟動合并程序，合并所述小文件；

S3、通過多線程讀取所述小文件，將所述小文件多線程合并成預設大小的數據文件；

S4、自動刪除大數據平臺中的小文件。

2.如權利要求1所述的一種實時數據存儲的方法，其特征在于，所述外部流式數據源為Kafka集群。

3.如權利要求1所述的一種實時數據存儲的方法，其特征在于，所述小文件為parquet文件結構。

4.如權利要求1所述的一種實時數據存儲的方法，其特征在于，步驟S3中，將所述小文件分批合并至64M。

5.如權利要求1所述的一種實時數據存儲的方法，其特征在于，步驟S2中每個小時啟動合并程序。

6.如權利要求1所述的一種實時數據存儲的方法，其特征在于，步驟S1中通過sparkStreaming流式并發實時讀取數據源數據。

7.如權利要求6所述的一種實時數據存儲的方法，其特征在于，所述數據源為外部流式數據源。

8.如權利要求7所述的一種實時數據存儲的方法，其特征在于，所述大數據平臺每秒讀取外部流式數據源數據。

9.一種存儲介質，其特征在于，其上存儲有計算機程序，所述計算機程序被執行時實現權利要求1～8任意一項所述的一種實時數據存儲的方法。