[發明專利]一種Druid壓實方法

在審

• 申請號: 202011463087.8
• 申請日: 2020-12-14
• 公開（公告）號: CN112307008A
• 公開（公告）日: 2021-02-02
• 發明（設計）人: 曾銳;王曉斌
• 申請（專利權）人: 湖南蟻坊軟件股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/28
• 代理公司: 長沙心智力知識產權代理事務所(普通合伙) 43233
• 代理人: 謝如意

本發明公開了一種Druid壓實方法，屬于數據查詢技術領域。包括：通過Druid片段服務接口獲取數據源的片段信息；篩選出需要參與壓實的片段列表；對數據進行合并和匯總生成新的片段，新片段的開始根分區號與結束根分區號覆蓋了參與壓實的片段，生成的片段信息保存在Druid深度存儲中；向Druid元數據庫中寫入需要新增的片段信息，Druid協調節點會從深度存儲中加載到新的片段到歷史節點，完成壓實。可以提高查詢性能。

技術領域

本發明涉及數據查詢技術領域，尤其涉及一種Druid壓實方法。

背景技術

Apache Druid是一個面向海量數據的分布式、高性能OLAP工具，它集時間序列數據庫、數據倉庫和全文檢索系統特點于一體，兼具海量數據的高效攝入和快速查詢能力，得到了國內外眾多公司的廣泛使用。

Druid基于近時序（如一天內數據亂序，跨天是有序）數據來設計，對于點擊流、訪問流、活動流等時序性較強的數據具有很高的處理性能。然而，對于時序性不強的亂時序數據（例如實時攝入的數據除了大部分當天的數據外，還包含之前較長時間段內的一些歷史數據），Druid的處理性能就會大打折扣。

Druid攝取亂時序數據后，會將數據寫入到對應時間段的時間塊（例如每天一個時間塊），的不同片段中。由于亂時序數據的時間跨度較大，導致數據沒法做到充分的roll-up（一種預處理方式，Druid在數據攝取時通過roll-up來將原始數據聚合到片段中，以節約存儲空間，并提高查詢統計的性能，越高的roll-up率意味著片段碎片越少，查詢速度越快），這樣就會生成大量的片段碎片，在進行查詢的時需要對這些碎片片段做聚合計算，該計算占用較高的CPU和磁盤IO資源，最終導致查詢速度緩慢。

為解決片段碎片問題，Druid會定時對所屬相同時間段的不同片段進行壓實操作（一種數據合并的操作），減少片段碎片。目前Druid的壓實任務存在一些問題，首先壓實任務優先級低于數據攝取任務，數據攝取任務會長期保持著片段鎖，導致壓實任務很難獲取到鎖觸發任務。再則壓實任務必須對整個時間段內所有的片段進行全量的壓實，隨著數據量的增加，壓實任務的運行時間會越來越長，最終會導致壓實片段提高查詢速度的效果。

以上問題的存在，對于Druid如何維持查詢的高性能，特別是對于亂時序數據的應用場景，是一個很大的挑戰。

發明內容

為了克服上述技術問題，本發明提供了一種Druid壓實方法，可以提高查詢性能。

為解決上述問題，本發明提供的技術方案為：

一種Druid壓實方法，包括：通過Druid的接口獲取數據源的片段信息；篩選需要參與壓實的片段，生成包含有多個片段信息集合壓實計劃；提交MapReduce進行壓實；Mapper 獲取參與壓實片段的每行信息，將該信息映射到需要生成新片段分區號；Reducer對數據進行合并和匯總生成新片段，新片段分區編碼覆蓋需要替換的片段分區號，生成的片段信息保存在Druid深度存儲中；向Druid元數據庫中寫入需要新增的片段元數據信息，Druid協調節點會定時將新片段從深度存儲中加載到歷史節點，以完成壓實。

可選的，所述片段信息至少包括：片段分區號、時間間隔、字節大小。

可選的，所述片段信息集合生成方法為：

segmentsTotalBytes/segmentBytesPerRow maxCompactionRows；

其中：

segmentsTotalBytes ：連續的片段字節大小之和；

segmentBytesPerRows：片段每行記錄平均字節大?。?/p>

maxCompactionRows ：壓實任務處理最大行數；