[發明專利]一種時序數據訪問系統及方法

有效

• 申請號: 201711342584.0
• 申請日: 2017-12-14
• 公開（公告）號: CN108153836B
• 公開（公告）日: 2020-08-04
• 發明（設計）人: 楊進展;馬玲艷
• 申請（專利權）人: 浙江航天恒嘉數據科技有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/25
• 代理公司: 北京輕創知識產權代理有限公司 11212
• 代理人: 陳衛

本發明公開了一種時序數據訪問系統及方法，系統包括：時序數據服務引擎和數據倉庫，所述時序數據服務引擎包括：接口配置模塊、寫數據模塊和讀數據模塊。本發明的有益效果是：通過時序數據服務引擎只需界面配置需要訪問的接口，無需開發新的接口，同時保證時序數據的安全性，用戶可以通過該接口完成對源數據實時獲取。在時序數據的存儲過程中，數據源可由kafka集群傳遞到Flume，進而落地到數據庫中，在存儲過程中實現Flume的負載均衡，從而達到高效的數據采集。在時序數據服務引擎中，數據的存儲和獲取實現分離，在大數據進行實時數據存儲和訪問操作時，更高效地實現數據的傳遞。

技術領域

本發明涉及數據訪問技術領域，特別涉及一種時序數據訪問系統及方法。

背景技術

采用開源的OpenTSDB可支持時序數據的秒級存儲，支持數據永久存儲，即保存的數據不會主動刪除，并且原始數據會一直保存。支持從大規模的集群中獲取相應metrics進行存儲、索引以及服務，支持數據查詢時的圖形化界面展示。但是，使用開源OpenTSDB進行時序數據查詢時，除過圖形化界面展示數據點之外，可通過URL接口進行數據訪問，但是通過此種方式用戶可以查詢到所有存儲在OpenTSDB時序數據庫中的數據，不保證所有時序數據的安全性。

發明內容

本發明提供了一種時序數據訪問系統，解決了現有技術的技術問題。

本發明解決上述技術問題的技術方案如下：

一種時序數據訪問系統，包括：時序數據服務引擎和數據倉庫，所述時序數據服務引擎包括：接口配置模塊、寫數據模塊和讀數據模塊；

所述寫數據模塊用于接收數據源通過Kafka集群發送的訂閱消息，通過自身的Flume模塊將所述訂閱消息中包括的源數據寫入所述數據倉庫；

所述接口配置模塊用于在所述源數據寫入所述數據倉庫之后，根據所述源數據在所述數據倉庫中的URL地址信息和數據參數進行接口配置、接口測試和接口發布，生成接口文檔，將所述接口文檔存儲在緩存數據庫中，同時根據所述接口文檔生成UID源數據信息，將所述UID源數據信息作為所述接口文檔的主鍵，還用于接收用戶終端發送的下載請求，根據所述下載請求向所述用戶終端返回所述接口文檔中的所述URL地址信息和所述UID源數據信息；

所述讀數據模塊用于接收所述用戶終端發送查詢請求，根據所述查詢請求中包括的所述UID源數據信息從所述緩存數據庫中獲取所述接口文檔中包括的所述數據參數，根據所述數據參數和所述查詢請求中包括的所述URL地址信息得到查詢數據地址，根據所述查詢數據地址從所述數據倉庫中獲取所述源數據并返回給所述用戶終端。

本發明的有益效果是：通過時序數據服務引擎只需界面配置需要訪問的接口，無需開發新的接口，同時保證時序數據的安全性，用戶可以通過該接口完成對源數據實時獲取。在時序數據的存儲過程中，數據源可由kafka集群傳遞到Flume，進而落地到數據庫中，在存儲過程中實現Flume的負載均衡，從而達到高效的數據采集。在時序數據服務引擎中，數據的存儲和獲取實現分離，在大數據進行實時數據存儲和訪問操作時，更高效地實現數據的傳遞。

在上述技術方案的基礎上，本發明還可以做如下改進。

優選地，所述接口配置模塊用于在所述源數據寫入所述數據倉庫之后，根據所述源數據在所述數據倉庫中的存儲地址和數據參數進行接口配置，得到已配置的接口，通過訪問所述數據倉庫對所述已配置的接口進行接口測試，測試通過后，根據所述數據參數對所述已配置的接口進行接口發布，生成接口文檔。

優選地，所述接口配置模塊還用于接收所述用戶終端發送接口查看請求，根據所述接口查看請求向所述用戶終端發送接口詳細內容，還用于接收所述用戶終端發送的日志查看請求，根據所述日志查看請求向所述用戶終端發送日志內容。