[發明專利]基于時間度量數據實時查詢服務的優化實現方法及系統

有效

• 申請號: 201310226273.3
• 申請日: 2013-06-07
• 公開（公告）號: CN103353873B
• 公開（公告）日: 2016-11-09
• 發明（設計）人: 江偉;李欣;李東澤;張勇;儲誠棟
• 申請（專利權）人: 上海攜程商務有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京英特普羅知識產權代理有限公司 11015
• 代理人: 林彥之

1.一種基于時間度量數據實時查詢服務的優化實現方法，其特征在于，包括對查詢數據庫作如下操作：

存儲不同的度量，每個度量包括多個度量數據點，每個度量數據點包括度量值和標簽集合，所述標簽集合中的每個標簽由一個key/value對組成，不同的度量中的度量數據點有不同的key的集合，但同一度量中的度量數據點的key的集合是相同的，將屬于同一度量，且將含有相同key/value對的組合的數據點歸為一個基礎時間度量序列并記錄在元數據表中。

2.如權利要求1所述的基于時間度量數據實時查詢服務的優化實現方法，其特征在于，還包括對查詢數據庫如下操作：

利用不同的命名空間對不同的度量進行分片，即將同一類的度量歸為同一個命名空間，一個度量只能屬于一個命名空間，每個命名空間包含多個度量，將同一個命名空間的所有度量保存在同一張Hbase表中，同一個命名空間中的所有度量數據的生命周期相同。

3.如權利要求2所述的基于時間度量數據實時查詢服務的優化實現方法，其特征在于，還包括對查詢數據庫作如下操作：

當發現某類查詢的查詢時間跨度長、查詢開銷超過閾值，且查詢的頻率達到一預設定頻率，則定期啟動的map/reduce批處理任務對該類查詢的相關度量進行周期性的計算獲取降采樣數據，并預先將降采樣數據插入到HBase表中。

4.如權利要求1所述的基于時間度量數據實時查詢服務的優化實現方法，其特征在于，還包括對查詢服務器作如下操作：

采用多臺查詢服務器同時對外提供度量的查詢服務，每臺查詢服務器定期以一定時間間隔同步元數據表，并將其緩存在各自內存中，當任何一臺查詢服務器的度量元數據發生變化時，首先會和其緩存中的元數據表進行比對和更新，若如果比對成功，則更新成功；否則，更新也就失敗，則該查詢服務器進行沖突解決，并決定是否需要再次提交更新；

每臺查詢服務器對度量元數據的更新提交成功后，就更新其內存緩存。

5.如權利要求1至4任一項所述的基于時間度量數據實時查詢服務的優化實現方法，其特征在于，還包括對查詢服務器作如下操作：

采用基于時間分段的緩存策略，通過后臺的批處理線程定期將零散的數據緩存段進行合并。

6.如權利要求1項所述的基于時間度量數據實時查詢服務的優化實現系統，其特征在于，包括查詢數據庫，用于存儲不同的度量，每個度量包括多個度量數據點，每個度量數據點包括度量值和標簽集合，所述標簽集合中的每個標簽由一個key/value對組成，不同的度量中的度量數據點有不同的key的集合，但同一度量中的度量數據點的key的集合是相同的，將屬于同一度量，且將含有相同key/value對的組合的數據點歸為一個基礎時間度量序列并記錄在元數據表中。

7.如權利要求1所述的基于時間度量數據實時查詢服務的優化實現系統，其特征在于，所述查詢數據庫，利用不同的命名空間對不同的度量進行分片，即將同一類的度量歸為同一個命名空間，一個度量只能屬于一個命名空間，每個命名空間包含多個度量，將同一個命名空間的所有度量保存在同一張Hbase表中，同一個命名空間中的所有度量數據的生命周期相同。

8.如權利要求7所述的基于時間度量數據實時查詢服務的優化實現系統，其特征在于，所述查詢數據庫，還用于當發現某類查詢的查詢時間跨度長、查詢開銷超過閾值，且查詢的頻率達到一預設定頻率，則定期啟動的map/reduce批處理任務對該類查詢的相關度量進行周期性的計算獲取降采樣數據，并預先將降采樣數據插入到HBase表中。

9.如權利要求6所述的基于時間度量數據實時查詢服務的優化實現系統，其特征在于，還包括多臺查詢服務器，用于同時對外提供度量的查詢服務，其中，

每臺查詢服務器定期以一定時間間隔同步元數據表，并將其緩存在各自內存中，當任何一臺查詢服務器的度量元數據發生變化時，首先會和其緩存中的元數據表進行比對和更新，若如果比對成功，則更新成功；否則，更新也就失敗，則該查詢服務器進行沖突解決，并決定是否需要再次提交更新；

每臺查詢服務器對度量元數據的更新提交成功后，就更新其內存緩存。

10.如權利要求6至9任一項所述的基于時間度量數據實時查詢服務的優化實現系統，其特征在于，所述查詢服務器采用基于時間分段的緩存策略，通過后臺的批處理線程定期將零散的數據緩存段進行合并。