[發明專利]一種列式存儲格式文件快速合并方法及其系統

有效

• 申請號: 201710449868.3
• 申請日: 2017-06-14
• 公開（公告）號: CN107194001B
• 公開（公告）日: 2019-11-12
• 發明（設計）人: 陳良龍;鄒寧勇
• 申請（專利權）人: 網宿科技股份有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/13;G06F16/16
• 代理公司: 北京華智則銘知識產權代理有限公司 11573
• 代理人: 王昌貴

1.一種列式存儲格式文件快速合并方法，其特征在于，所述方法包括以下步驟：

讀取每個待合并的列式存儲格式文件的文件元數據，所述文件元數據包含所述列式存儲格式文件的數據模型結構；

遍歷所述數據模型結構一致的待合并的列式存儲格式文件，并按照按塊讀取方式合并到新列式存儲格式文件中。

2.如權利要求1所述的列式存儲格式文件快速合并方法，其特征在于，所述讀取每個待合并的列式存儲格式文件的文件元數據的步驟具體包括：

定位到每個待合并的列式存儲格式文件的所述文件元數據的起始位置和長度；

根據所述起始位置和長度將每個待合并的列式存儲格式文件的所述文件元數據讀取到內存結構中。

3.如權利要求1所述的列式存儲格式文件快速合并方法，其特征在于，在所述遍歷所述數據模型結構一致的待合并的列式存儲格式文件的步驟之前，所述方法還包括以下步驟：

對比每個待合并的列式存儲格式文件的所述數據模型結構；

判斷所述數據模型結構是否一致；

如果所述數據模型結構一致，則在所述新列式存儲格式文件的起始位置寫入起始位置固定字符；

如果所述數據模型結構不一致，則停止所述列式存儲格式文件的合并。

4.如權利要求1或3所述的列式存儲格式文件快速合并方法，其特征在于，所述列式存儲格式文件的結構包括起始位置固定字符、行群組、文件元數據、文件元數據長度以及結束位置固定字符，其中，所述按照按塊讀取方式合并到新列式存儲格式文件中的步驟具體包括：

將每個待合并的列式存儲格式文件中的行群組按照按塊讀取方式追加到所述新列式存儲格式文件的行群組中；

將每個待合并的列式存儲格式文件中的文件元數據追加到所述新列式存儲格式文件的文件元數據中；

計算所述新列式存儲格式文件的文件元數據的長度并更新至所述新列式存儲格式文件中；

在所述新列式存儲格式文件的結束位置寫入結束位置固定字符。

5.如權利要求4所述的列式存儲格式文件快速合并方法，其特征在于，所述列式存儲格式文件的文件元數據的結構還包括附加信息以及行群組元數據，其中，所述將每個待合并的列式存儲格式文件中的文件元數據追加到所述新列式存儲格式文件的文件元數據中的步驟具體包括：

將每個待合并的列式存儲格式文件中的附加信息追加到所述新列式存儲格式文件的附加信息中；

將每個待合并的列式存儲格式文件中的行群組元數據追加到所述新列式存儲格式文件的行群組元數據中，其中，每個所述行群組元數據包括一個或者多個列元數據，每個列元數據包括一個或者多個OFFSET，其中，所述OFFSET用于指向對應的行群組的列；

在所述新列式存儲格式文件中的新寫入的所述行群組元數據的列元數據中的OFFSET上加上值rSize，其中，所述rSize為合并前所述新列式存儲格式文件已經寫入到所述新列式存儲格式文件里面的行群組總大??；

將所述rSize加上新寫入的所述行群組元數據的大??；

將追加之后得到的新的文件元數據經過協議轉換方式寫入到所述新列式存儲格式文件中。

6.一種列式存儲格式文件快速合并系統，其特征在于，所述系統包括：

文件讀取模塊，用于讀取每個待合并的列式存儲格式文件的文件元數據，所述文件元數據包含所述列式存儲格式文件的數據模型結構；

文件合并模塊，用于遍歷所述數據模型結構一致的待合并的列式存儲格式文件，并按照按塊讀取方式合并到新列式存儲格式文件中。

7.如權利要求6所述的列式存儲格式文件快速合并系統，其特征在于，所述文件讀取模塊具體用于：

定位到每個待合并的列式存儲格式文件的所述文件元數據的起始位置和長度；

根據所述起始位置和長度將每個待合并的列式存儲格式文件的所述文件元數據讀取到內存結構中。