[發明專利]基于時間度量數據實時查詢服務的優化實現方法及系統

有效

• 申請號: 201310226273.3
• 申請日: 2013-06-07
• 公開（公告）號: CN103353873B
• 公開（公告）日: 2016-11-09
• 發明（設計）人: 江偉;李欣;李東澤;張勇;儲誠棟
• 申請（專利權）人: 上海攜程商務有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京英特普羅知識產權代理有限公司 11015
• 代理人: 林彥之

技術領域

本發明涉及基于時間的度量數據查詢服務的優化設計，特別適用于大中型網站的實時運營監控、故障預警、快速排障、容量規劃、以及性能調優等諸多領域。涉及一種基于時間度量數據實時查詢服務的優化實現方法及系統。

背景技術

隨著一些大中型互聯網企業內部的應用增多，對于實時監控整個網站的服務質量提出了越來越高的要求。為了做到實時掌握整個網站的運行情況，以不斷優化系統性能，就需要收集各個應用的不同層面的實時度量數據，并對其進行有效地分析和利用。

為了隨時支持高效地排障、調優，就需要保存大量的歷史度量數據。隨著這些度量數據不斷累積，使得系統存儲的壓力會隨之也不斷加大。與此同時，對這些度量數據大量的并發查詢需求，進一步提高了實現度量數據查詢服務的難度。

一般的基于傳統數據庫的解決方案，既無法支撐基于時間的海量度量數據的存儲，也無法支持高并發的查詢。這基本需要涉及專門的TSD（time?series?database，參見http://en.wikipedia.org/wiki/Time_series_database）實現。然而基于大數據的分布式TSD實現，同樣也受到Brewer的CAP分布式理論(參見http://www.cs.berkeley.edu/～brewer/cs262b-2004/PODC-keynote.pdf)的制約。著名的TSD開源實現，如opentsdb(參見http://opentsdb.net/)不支持大數據、高吞吐的度量數據查詢。

發明內容

本發明的目的在于提供一種基于時間度量數據實時查詢服務的優化實現方法及系統，能夠支持度量數據的任意水平擴展，同時查詢服務能夠承受高并發、高吞吐下的實時查詢壓力。

為解決上述問題，本發明提供一種基于時間度量數據實時查詢服務的優化實現方法，包括對查詢數據庫作如下操作：

存儲不同的度量，每個度量包括多個度量數據點，每個度量數據點包括度量值和標簽集合，所述標簽集合中的每個標簽由一個key/value對組成，不同的度量中的度量數據點有不同的key的集合，但同一度量中的度量數據點的key的集合是相同的，將屬于同一度量，且將含有相同key/value對的組合的數據點歸為一個基礎時間度量序列并記錄在元數據表中。

進一步的，在上述方法中，還包括對查詢數據庫如下操作：

利用不同的命名空間對不同的度量進行分片，即將同一類的度量歸為同一個命名空間，一個度量只能屬于一個命名空間，每個命名空間包含多個度量，將同一個命名空間的所有度量保存在同一張Hbase表中，同一個命名空間中的所有度量數據的生命周期相同。

進一步的，在上述方法中，還包括對查詢數據庫作如下操作：

當發現某類查詢的查詢時間跨度長、查詢開銷超過閾值，且查詢的頻率達到一預設定頻率，則定期啟動的map/reduce批處理任務對該類查詢的相關度量進行周期性的計算獲取降采樣數據，并預先將降采樣數據插入到HBase表中。

進一步的，在上述方法中，還包括對查詢服務器作如下操作：

采用多臺查詢服務器同時對外提供度量的查詢服務，每臺查詢服務器定期以一定時間間隔同步元數據表，并將其緩存在各自內存中，當任何一臺查詢服務器的度量元數據發生變化時，首先會和其緩存中的元數據表進行比對和更新，若如果比對成功，則更新成功；否則，更新也就失敗，則該查詢服務器進行沖突解決，并決定是否需要再次提交更新；

每臺查詢服務器對度量元數據的更新提交成功后，就更新其內存緩存。

進一步的，在上述方法中，還包括對查詢服務器作如下操作：

采用基于時間分段的緩存策略，通過后臺的批處理線程定期將零散的數據緩存段進行合并。

根據本發明的另一面，提供一種基于時間度量數據實時查詢服務的優化實現方法系統，包括查詢數據庫，用于存儲不同的度量，每個度量包括多個度量數據點，每個度量數據點包括度量值和標簽集合，所述標簽集合中的每個標簽由一個key/value對組成，不同的度量中的度量數據點有不同的key的集合，但同一度量中的度量數據點的key的集合是相同的，將屬于同一度量，且將含有相同key/value對的組合的數據點歸為一個基礎時間度量序列并記錄在元數據表中。