[發明專利]一種Druid壓實方法

在審

• 申請號: 202011463087.8
• 申請日: 2020-12-14
• 公開（公告）號: CN112307008A
• 公開（公告）日: 2021-02-02
• 發明（設計）人: 曾銳;王曉斌
• 申請（專利權）人: 湖南蟻坊軟件股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/28
• 代理公司: 長沙心智力知識產權代理事務所(普通合伙) 43233
• 代理人: 謝如意

1.一種Druid壓實方法，其特征在于，包括：

通過Druid片段服務接口獲取數據源的片段信息；

篩選指定時間塊中的片段信息；

計算時間塊中的片段信息列表，篩選出需要參與壓實的片段列表，生成包含有多個片段的片段信息集合；

提交MapReduce進行壓實；

Map獲取片段的每行數據，與壓實計劃中的指定時間塊對應的分區范圍進行匹配，計算出分區范圍；

Reduce對數據進行合并和匯總生成新的片段，新片段的開始根分區號與結束根分區號覆蓋了參與壓實的片段集合，生成的片段保存在Druid深度存儲目錄中；

向Druid元數據庫中寫入需要新增的片段元數據信息，Druid協調節點會將片段從深度存儲中加載對應到歷史節點，以完成壓實。

2.根據權利要求1所述方法，其特征在于：

所述片段信息至少包括：片段分區范圍、時間間隔、字節大小。

3.根據權利要求1所述方法，其特征在于：

所述片段信息集合生成方法為：

segmentsTotalBytes/segmentBytesPerRow maxCompactionRows；

其中：

segmentsTotalBytes ：連續的片段字節大小之和；

segmentBytesPerRows：片段每行記錄平均字節大小；

maxCompactionRows ：壓實任務處理最大行數；

連續的片段字節大小之和與片段每行記錄平均字節大小相除，求出總行數，總行數小于壓實任務處理最大行數，其中，壓實任務處理最大行數提前設定，是常數值。

4.根據權利要求3所述方法，其特征在于：所述片段信息集合生成后，產生所述的壓實計劃。

5.根據權利要求1或4所述方法，其特征在于：所述的壓實計劃包括在指定時間塊中參與壓實片段信息。

6.根據權利要求5所述方法，其特征在于：所述壓實計劃為MapReduce任務的輸入參數。