[發(fā)明專利]時序數(shù)據(jù)的存儲方法、分析方法及裝置

有效

• 申請?zhí)枺?/td>: 201910270612.5
• 申請日: 2019-04-04
• 公開（公告）號: CN110109923B
• 公開（公告）日: 2021-07-06
• 發(fā)明（設(shè)計）人: 劉睿;黃踐焜
• 申請（專利權(quán)）人: 北京市天元網(wǎng)絡(luò)技術(shù)股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/242;G06F16/2458;G06F16/28
• 代理公司: 北京路浩知識產(chǎn)權(quán)代理有限公司 11002
• 代理人: 王慶龍;苗曉靜

1.一種時序數(shù)據(jù)的存儲方法，其特征在于，包括：

根據(jù)時序數(shù)據(jù)的采樣時間間隔，獲取所述時序數(shù)據(jù)的時間精度；

根據(jù)時序數(shù)據(jù)的時間戳以及時間精度，將時間戳相同、時間精度相同的多個時序數(shù)據(jù)聚合為文件切片；

以時間精度和時間戳為HBase行鍵，將所述文件切片存儲至HBase數(shù)據(jù)庫；

所述以時間精度和時間戳為HBase行鍵，將所述文件切片存儲至HBase數(shù)據(jù)庫的步驟，具體為：

獲取所述文件切片的大小；

若所述文件切片的大小大于預(yù)設(shè)字節(jié)長度，則對所述文件切片作進一步切分，生成多個子切片；

以時間精度、時間戳和子切片的切片號為行鍵，將所述多個子切片存儲至HBase數(shù)據(jù)庫中；

若所述文件切片的大小小于等于預(yù)設(shè)字節(jié)長度，則將所述文件切片對應(yīng)的切片號設(shè)置為零，以時間精度、時間戳和所述文件切片的切片號作為行鍵，將所述文件切片存儲至HBase數(shù)據(jù)庫中。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對所述文件切片作進一步切分，生成多個子切片的步驟，具體為：

根據(jù)所述預(yù)設(shè)字節(jié)長度確定將所述文件切片進行切分的子切片個數(shù)N;

按照時序數(shù)據(jù)的測量對象標識進行哈希計算，對哈希計算的結(jié)果取N的余數(shù)后加一，獲得時序數(shù)據(jù)對應(yīng)的切片號；

將切片號相同的時序數(shù)據(jù)合并到一個子切片中，生成N個子切片。

3.一種時序數(shù)據(jù)的分析方法，其特征在于，所述時序數(shù)據(jù)采用權(quán)利要求1至2任一方法進行存儲，所述分析方法包括：

對接收到的SQL語句進行解析，獲得查詢時序數(shù)據(jù)的時間范圍及對應(yīng)的執(zhí)行計劃；

按照所述時間范圍掃描所述HBase數(shù)據(jù)庫，定位到若干時序數(shù)據(jù)切片，并讀取各所述時序數(shù)據(jù)切片的Value，生成Spark RDD；

根據(jù)所述執(zhí)行計劃對所述Spark RDD進行匹配和過濾操作，獲得與所述執(zhí)行計劃一致的最小數(shù)據(jù)集Minimal DataFrame；

基于所述Minimal DataFrame進行SQL計算。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述讀取各所述時序數(shù)據(jù)切片的Value，生成Spark RDD的步驟，具體為：

利用newHadoopApi以Key-Value的形式讀取各所述時序數(shù)據(jù)切片的Value，生成SparkRDD。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述執(zhí)行計劃對所述Spark RDD進行匹配和過濾操作，獲得與所述執(zhí)行計劃一致的最小數(shù)據(jù)集Minimal DataFrame的步驟，具體為：

根據(jù)所述執(zhí)行計劃對所述Spark RDD進行Value匹配，獲得第一RDD；

根據(jù)所述執(zhí)行計劃對所述第一RDD進行過濾，過濾掉無用字段，獲得第二RDD；

將所述第二RDD注冊為DataFrame。

6.一種時序數(shù)據(jù)的存儲裝置，其特征在于，包括：

時間精度確定模塊，用于根據(jù)時序數(shù)據(jù)的采樣時間間隔，獲取所述時序數(shù)據(jù)的時間精度；

聚合模塊，用于根據(jù)時序數(shù)據(jù)的時間戳以及時間精度，將時間戳相同、時間精度相同的多個時序數(shù)據(jù)聚合為文件切片；

存儲模塊，用于以時間精度和時間戳為HBase行鍵，將所述文件切片存儲至HBase數(shù)據(jù)庫；

所述以時間精度和時間戳為HBase行鍵，將所述文件切片存儲至HBase數(shù)據(jù)庫的步驟，具體為：

獲取所述文件切片的大小；

若所述文件切片的大小大于預(yù)設(shè)字節(jié)長度，則對所述文件切片作進一步切分，生成多個子切片；

以時間精度、時間戳和子切片的切片號為行鍵，將所述多個子切片存儲至HBase數(shù)據(jù)庫中；

若所述文件切片的大小小于等于預(yù)設(shè)字節(jié)長度，則將所述文件切片對應(yīng)的切片號設(shè)置為零，以時間精度、時間戳和所述文件切片的切片號作為行鍵，將所述文件切片存儲至HBase數(shù)據(jù)庫中。