[發明專利]一種列式存儲格式文件快速合并方法及其系統

有效

• 申請號: 201710449868.3
• 申請日: 2017-06-14
• 公開（公告）號: CN107194001B
• 公開（公告）日: 2019-11-12
• 發明（設計）人: 陳良龍;鄒寧勇
• 申請（專利權）人: 網宿科技股份有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/13;G06F16/16
• 代理公司: 北京華智則銘知識產權代理有限公司 11573
• 代理人: 王昌貴

本發明公開了一種列式存儲格式文件快速合并方法，所述方法包括以下步驟：讀取每個待合并的列式存儲格式文件的文件元數據，所述文件元數據包含所述列式存儲格式文件的數據模型結構；遍歷所述數據模型結構一致的待合并的列式存儲格式文件，并按照按塊讀取方式合并到新列式存儲格式文件中。本發明還公開了一種列式存儲格式文件快速合并系統。本發明對于列式存儲格式(parquet)文件中占數據量最大部分的行群組(ROWGROUP)按塊讀取并追加到新列式存儲格式文件中，進而大幅減少對cpu的消耗，使得合并速度大幅提升。

技術領域

本發明涉及分布式文件系統領域，特別涉及一種列式存儲格式文件快速合并方法及其系統、及計算機存儲介質、電子設備。

背景技術

Parquet是面向分析型業務的列式存儲格式，由Twitter和Cloudera合作開發，是2015年5月從Apache的孵化器里畢業成為Apache頂級項目。

目前，parquet文件和傳統的行式存儲格式文件相比有幾點優勢：

(1)可以跳過不符合條件的數據，只讀取需要的數據，降低IO數據量；

(2)壓縮編碼可以降低磁盤存儲空間，由于同一列的數據類型是一樣的，可以使用更高效的壓縮編碼，例如Run Length Encoding和Delta Encoding，能進一步節約存儲空間；

(3)只讀取需要的列，支持向量運算，能夠獲取更好的掃描性能。

Parquet列式存儲帶來的性能上的提高在業內已經得到了充分的認可，例如Impala、Spark、Hive/Pig都原生支持Parquet。

但是，parquet文件的存儲格式設計也決定了其不支持簡單的追加操作，在一個提供實時查詢的分布式存儲系統中，每當有新數據到達需要形成parquet文件時，都必須重新生成一個新的parquet文件，而不能追加到已有的parquet文件的后面，這樣時間一長就會造成分布式存儲系統中有大量的數據量很小的parquet文件，對IO和存儲系統的某些組件(比如hdfs的namenode、impala的statenode)造成巨大壓力，此時需要對這些數據量很小的parquet文件進行合并，重新生成小量的數據量較大的parquet文件。

目前，最簡單的parquet文件的合并思路是：依次讀取待合并的每個parquet文件的每行內容，將每行內容重新寫入新的parquet文件。但是，這種方法存在以下明顯的缺點：

(1)由于要讀取待合并的每個parquet文件的每行內容，再將每行內容寫入新的parquet文件，相當于對每行內容進行了“parquet格式->普通格式->parquet格式”這樣的一個轉換過程，如此一來對cpu消耗較大，且速度較低；

(2)parquet文件在寫入的過程中，數據都是先暫緩在內存當中的，等要close的時候再一次性吐出，也就是說待合并的每個parquet文件的每行內容都必須先暫緩在內存里面，如此一來對內存消耗較大。

發明內容

為了解決現有技術的問題，本發明實施例提供了一種列式存儲格式文件快速合并方法及其系統、及一種計算機存儲介質及電子設備。所述技術方案如下：

一方面，一種列式存儲格式文件快速合并方法，其中，所述方法包括以下步驟：

讀取每個待合并的列式存儲格式文件的文件元數據，所述文件元數據包含所述列式存儲格式文件的數據模型結構；

遍歷所述數據模型結構一致的待合并的列式存儲格式文件，并按照按塊讀取方式合并到新列式存儲格式文件中。

進一步的，所述讀取每個待合并的列式存儲格式文件的文件元數據的步驟具體包括：