[發(fā)明專利]一種用于監(jiān)控系統(tǒng)的時間序列存儲方法及裝置

在審

• 申請?zhí)枺?/td>: 201310306274.9
• 申請日: 2013-07-19
• 公開（公告）號: CN103390045A
• 公開（公告）日: 2013-11-13
• 發(fā)明（設(shè)計）人: 龐揚
• 申請（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京邦信陽專利商標(biāo)代理有限公司 11012
• 代理人: 王昭林;金璽

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)庫相關(guān)技術(shù)領(lǐng)域，特別是一種用于監(jiān)控系統(tǒng)的時間序列存儲方法及裝置。

背景技術(shù)

在監(jiān)控系統(tǒng)的數(shù)據(jù)采集中，對于一個指標(biāo)（metric）的數(shù)據(jù)可能來自多個主機，為區(qū)別采集的數(shù)據(jù)是來自哪臺主機，需要在數(shù)據(jù)保存時增加一些額外的指標(biāo)標(biāo)識，為了與作為指標(biāo)名稱的指標(biāo)標(biāo)識進行區(qū)分，也可以稱為限定條件和限定條件值。例如：采集某臺主機的cpu數(shù)據(jù)，如表1所示。

CPU201304262322450.08hostname=HOST-001Metric時間（精確到秒）采集值主機名主機名值

表1.1數(shù)據(jù)點示例

其中hostname就是這條信息的限定條件關(guān)鍵詞，而HOST-001即為限定條件值。限定條件關(guān)鍵詞和限定條件值可以為一個，也可以為多個。對于表1中的0.08這個指標(biāo)值（或稱為采集值），其指標(biāo)標(biāo)識包括作為指標(biāo)名稱的CPU、作為限定條件關(guān)鍵詞的hostname，以及作為限定條件值的HOST-001。在監(jiān)控系統(tǒng)中，需要采集的指標(biāo)相對比較固定，但每項指標(biāo)由于時刻都在采集，因此其采集的數(shù)據(jù)量非常大，而且對數(shù)據(jù)存儲的要求很高，不能丟失數(shù)據(jù)，而且要求速度較快，相比讀取數(shù)據(jù)而言，寫數(shù)據(jù)更是系統(tǒng)需要關(guān)注的方面。

為此現(xiàn)有技術(shù)對其進行了優(yōu)化，以openTSDB監(jiān)控系統(tǒng)為例，其采用二維表格的方式將指標(biāo)值存儲到HBase數(shù)據(jù)庫中。在存儲過程中對二維表格中的行鍵（RowKey）的存儲進行了優(yōu)化，縮短了長度，并且根據(jù)數(shù)據(jù)的類型對數(shù)據(jù)進行了壓縮，從而減少了空間占用。具體來說：將多個指標(biāo)標(biāo)識（metric、限定條件關(guān)鍵詞與限定條件值）分別進行固定長度ID的映射（類似字典表映射），然后加上采集時間的部分，組合后成為實際存儲的數(shù)據(jù)的RowKey，RowKey長度固定而且長度較小，每一行存儲1小時的數(shù)據(jù)，通過縮小RowKey，實現(xiàn)增大存儲內(nèi)容value的目的；openTSDB通過程序限定僅存儲長整型（long型）與浮點型（float型）的數(shù)據(jù)，并且按照數(shù)據(jù)類型將最終存到HBase中的數(shù)據(jù)進行了寬度的壓縮，從而優(yōu)化空間占用，而且因為空間占用增長速度降低，達到降低表分裂的頻率，從而提高插入性能的目的，而且良好的RowKey設(shè)計能使得數(shù)據(jù)分布更加均衡。

然而，在現(xiàn)有技術(shù)中，采用long型存儲采集時間，而采集時間是通過機器獲取，當(dāng)獲取到的采集時間為字符型數(shù)據(jù)時（例如從Java中獲取時間），現(xiàn)有技術(shù)會將采集時間轉(zhuǎn)換long型的時間，同時，由于RowKey是由多個指標(biāo)標(biāo)識以及采集時間的部分組成，因此，還需要通過復(fù)雜的算法對轉(zhuǎn)換為long型的時間進行截取，得到所需部分。這部分的操作，包括類型轉(zhuǎn)換及截取，由于采用了復(fù)雜的算法，因此需要耗費一定的時間。特別是在監(jiān)控系統(tǒng)的數(shù)據(jù)采集，由于需要浪費大量時間和資源對采集時間進行轉(zhuǎn)換及截取，會導(dǎo)致整體系統(tǒng)效率的下降。

發(fā)明內(nèi)容

基于此，有必要針對現(xiàn)有技術(shù)需要浪費大量時間和資源對采集時間進行轉(zhuǎn)換及截取，導(dǎo)致整體系統(tǒng)效率下降的技術(shù)問題，提供一種用于監(jiān)控系統(tǒng)的時間序列存儲方法及裝置。

一種用于監(jiān)控系統(tǒng)的時間序列存儲方法，包括：

獲取待采集的指標(biāo)值，以及以字符串形式表示的采集時間；

獲取至少一個用于標(biāo)識所述指標(biāo)值的指標(biāo)標(biāo)識；

獲取每個指標(biāo)標(biāo)識的映射值；