[發明專利]MR文件應用在HDFS的實現方法和裝置

在審

• 申請號: 201610333313.8
• 申請日: 2016-05-19
• 公開（公告）號: CN107402924A
• 公開（公告）日: 2017-11-28
• 發明（設計）人: 劉哲;胡倫良;張海斌
• 申請（專利權）人: 普天信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京德琦知識產權代理有限公司11018
• 代理人: 楊春香,宋志強

1.一種測量報告MR文件應用在分布式文件系統HDFS的實現方法，其特征在于，該方法包括：

MR文件服務器接收MR文件；

MR文件服務器判斷所述MR文件的采集時間與本地未完成的匯總文件中MR文件的采集時間是否為同一周期，所述同一周期包括但不限于同一天、同一周、或者同一個月；

如果是，將接收的MR文件匯總至所述匯總文件中并解析MR文件形成對應的MR文件索引塊，將所述MR文件索引塊存入本地索引文件中；

如果否，關閉所述匯總文件，將所述匯總文件作為已完成的匯總文件上傳至HDFS客戶端，在本地重新創建一個標識為未完成的匯總文件，將接收的MR文件匯總至該重新創建的匯總文件中并解析MR文件形成對應的MR文件索引塊，將所述MR文件索引塊存入本地索引文件中。

2.根據權利要求1所述的方法，其特征在于，所述MR文件對應的MR文件索引塊包括：

數據塊block，至少包含數據block標識flag和索引數據邏輯信息，其中，索引數據邏輯信息至少包含MR文件名稱、數據block的生成時間、MR文件匯總至的匯總文件名稱、擴展名、以及位于匯總文件中的起始位置；所述MR文件名稱至少包含采集時間、MR文件的長度；

數據索引block，至少包含數據索引block flag、數據block的長度及在索引文件中的起始位置、以及數據block中的行關鍵字。

3.根據權利要求2所述的方法，其特征在于，所述索引文件除了包含MR文件索引塊之外，還進一步包括：

文件信息，至少包含文件信息flag、廠商Vendor信息、保留字段Reserve，其中，Vendor信息為預配置的廠商信息；

文件尾信息，至少包含文件尾flag，數據block數量、數據索引block數量、文件版本Version。

4.根據權利要求2所述的方法，其特征在于，該方法進一步包括：

接收用于查詢MR文件的查詢請求；

依據待查詢的MR文件的采集時間在本地索引文件中找到對應的MR文件索引塊；

根據找到的MR文件索引塊中的匯總文件名稱、MR文件位于匯總文件中的起始位置去HDFS客戶端讀取對應的MR文件。

5.根據權利要求2所述的方法，其特征在于，本地索引文件中的MR文件索引塊按照時間先后順序排列；

該方法進一步包括：

接收行關鍵字，接收的行關鍵字中至少包含時間戳T1；

計算本地索引文件中的中間位置mid，mid＝(本地索引文件中MR文件索引塊處于的最低端low位置+最高端high位置)/2，將mid作為當前位置；

定位本地索引文件中處于當前位置的MR文件索引塊；

判斷接收的行關鍵字是否與定位出的MR文件索引塊中數據索引block包含的行關鍵字一致，

如果是，根據定位出的MR文件索引塊中的匯總文件名稱、MR文件位于匯總文件中的起始位置去HDFS客戶端讀取對應的MR文件；

如果否，當接收的行關鍵字中包含的時間戳T1小于定位出的MR文件索引塊中數據索引block包含的行關鍵字中的時間戳T2，將本地索引文件中當前位置的上一個位置作為當前位置，返回定位本地索引文件中處于當前位置的MR文件索引塊；當T1大于T2，將本地索引文件中當前位置的下一個位置作為當前位置，返回定位本地索引文件中處于當前位置的MR文件索引塊。

6.一種測量報告MR文件應用在分布式文件系統HDFS的實現裝置，該裝置應用于MR文件服務器，其特征在于，該裝置包括：

接收單元，用于接收MR文件；

判斷單元，用于判斷所述MR文件的采集時間與本地未完成的匯總文件中MR文件的采集時間是否為同一周期，所述同一周期包括但不限于同一天、同一 周、或者同一個月；

匯總單元，用于在判斷單元的判斷結果為是時，將接收的MR文件匯總至所述匯總文件中并解析MR文件形成對應的MR文件索引塊，將所述MR文件索引塊存入本地索引文件中；以及，

在判斷單元的判斷結果為否時，關閉所述匯總文件，將所述匯總文件作為已完成的匯總文件上傳至HDFS客戶端，在本地重新創建一個標識為未完成的匯總文件，將接收的MR文件匯總至該重新創建的匯總文件中并解析MR文件形成對應的MR文件索引塊，將所述MR文件索引塊存入本地索引文件中。