[發明專利]時序數據的存儲方法、分析方法及裝置

有效

• 申請號: 201910270612.5
• 申請日: 2019-04-04
• 公開（公告）號: CN110109923B
• 公開（公告）日: 2021-07-06
• 發明（設計）人: 劉睿;黃踐焜
• 申請（專利權）人: 北京市天元網絡技術股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/242;G06F16/2458;G06F16/28
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王慶龍;苗曉靜

本發明實施例提供一種時序數據的存儲方法、分析方法及裝置，所述存儲方法包括：根據時序數據的采樣時間間隔，獲取所述時序數據的時間精度；根據時序數據的時間戳以及時間精度，將時間戳相同、時間精度相同的多個時序數據聚合為文件切片；以時間精度和時間戳為HBase行鍵，將所述文件切片存儲至HBase數據庫。本發明實施例提供的時序數據的存儲方法，將時序數據按照時間維度進行切片存放至HBase中，可以有效降低信息冗余，壓縮存儲空間。

技術領域

本發明實施例涉及互聯網技術領域，更具體地，涉及一種時序數據的存儲方法、分析方法及裝置。

背景技術

時序數據即時間序列數據，指的是某一指標按照時間順序記錄的序列，例如在通信業務中，通信設備性能數據即是一種時序數據，由網管系統定時從設備上采集生成數據文件并上報，描述了這個通信設備性能指標在每個時間點上的測量值，記錄著當前及歷史時間上的狀態變化信息。時序數據操作時具有以下特點：按時間范圍讀取、最近數據讀取概率高、數據量大和多維分析。

在海量時序數據背景下，需要進行小數據量的隨機檢索及多維分析時，基于時序數據的上述特點，現有技術采用HBase存儲時序數據。HBase是基于HDFS(HadoopDistributed File System)之上構建的NoSQL數據庫，以Key、Value形式組織數據，按照Key值字典順序排列，在背景數據量較大時，小數據量隨機讀寫性能優。但是，HBase僅能支持數據存儲及查詢，無法進行數據分析。

有鑒于此，可以采用Spark SQL方式進行HBase數據分析，但是，利用Spark技術檢索HBase數據時要求HBase數據必須按照傳統的關系型數據庫來建表，為每一個指標列分配一個HBase列，粒度太細，按照HBase Qualifier(HFile中key的完整表示，包含列族、列名、版本、行鍵)，增加了大量的冗余信息，從而增加了冗余的存儲及網絡開銷；并且，查詢的本質為全表掃描，需要將HBase數據全部掃描到內存，再進行處理，查詢效率較差。

發明內容

本發明實施例提供一種克服上述問題或者至少部分地解決上述問題的時序數據的存儲方法、分析方法及裝置。

第一方面，本發明實施例提供一種時序數據的存儲方法，包括：

根據時序數據的采樣時間間隔，獲取所述時序數據的時間精度；

根據時序數據的時間戳以及時間精度，將時間戳相同、時間精度相同的多個時序數據聚合為文件切片；

以時間精度和時間戳為HBase行鍵，將所述文件切片存儲至HBase數據庫。

第二方面，本發明實施例提供一種時序數據的分析方法，包括：

對接收到的SQL語句進行解析，獲得查詢時序數據的時間范圍及對應的執行計劃；

按照所述時間范圍掃描所述HBase數據庫，定位到若干時序數據切片，并讀取各所述時序數據切片的Value，生成Spark RDD；

根據所述執行計劃對所述Spark RDD進行匹配和過濾操作，獲得與所述執行計劃一致的最小數據集Minimal DataFrame；

基于所述Minimal DataFrame進行SQL計算。

第三方面，本發明實施例提供一種時序數據的存儲裝置，包括：

時間精度確定模塊，用于根據時序數據的采樣時間間隔，獲取所述時序數據的時間精度；

聚合模塊，用于根據時序數據的時間戳以及時間精度，將時間戳相同、時間精度相同的多個時序數據聚合為文件切片；

存儲模塊，用于以時間精度和時間戳為HBase行鍵，將所述文件切片存儲至HBase數據庫。