[發明專利]MR文件應用在HDFS的實現方法和裝置

在審

• 申請號: 201610333313.8
• 申請日: 2016-05-19
• 公開（公告）號: CN107402924A
• 公開（公告）日: 2017-11-28
• 發明（設計）人: 劉哲;胡倫良;張海斌
• 申請（專利權）人: 普天信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京德琦知識產權代理有限公司11018
• 代理人: 楊春香,宋志強

技術領域

本申請涉及數據通信技術，特別涉及測量報告(MR：Measurement Report)應用在分布式文件系統(HDFS：Hadoop Distributed File System)的實現方法和裝置。

背景技術

用戶按需求配置測量項，部分測量項被配置為統計值上報，另一部分被配置為樣本值上報。對于統計值上報的測量項，eNodeB對相關的測量數據進行樣本收集、統計、生成MR統計文件，周期性上傳文件到MR文件服務器。而對于樣本值上報的測量項，eNodeB對測量數據進行收集整理，形成MR樣本文件周期性上傳到MR文件服務器。不管是MR統計文件，還是MR樣本文件，統一稱為MR文件。最后，MR文件服務器再將MR文件統一上傳給HDFS，以通過MR數據的分析，實現全網/局部網絡的質量評價和覆蓋分析，并對網絡進行優化和監測。

HDFS主要用于大數據文件的分析，特點是將一個超大文件，分解成多個小文件，部署到多臺低配置機器上存儲和分析。其中，分解的小文件是指文件大小小于HDFS塊大小(默認為64MB)的文件。

而MR文件服務器上傳至HDFS的MR文件大小通常不到1M，遠遠低于HDFS塊大小(默認為64MB)。并且，一個eNodeB一天就生成將近300個MR文件文件，而1000個eNodeB一天產生300*1000＝30萬個MR文件，如此大量的MR文件如果上傳至HDFS，會嚴重影響HDFS的性能及其擴展性。

發明內容

本申請提供了MR文件應用在HDFS的實現方法和裝置，以在不影響HDFS的前提下實現MR文件應用在HDFS。

本申請提供的技術方案包括：

一種測量報告MR文件應用在分布式文件系統HDFS的實現方法，包括：

MR文件服務器接收MR文件；

MR文件服務器判斷所述MR文件的采集時間與本地未完成的匯總文件中MR文件的采集時間是否為同一周期，所述同一周期包括但不限于同一天、同一周、或者同一個月；

如果是，將接收的MR文件匯總至所述匯總文件中并解析MR文件形成對應的MR文件索引塊，將所述MR文件索引塊存入本地索引文件中；

如果否，關閉所述匯總文件，將所述匯總文件作為已完成的匯總文件上傳至HDFS客戶端，在本地重新創建一個標識為未完成的匯總文件，將接收的MR文件匯總至該重新創建的匯總文件中并解析MR文件形成對應的MR文件索引塊，將所述MR文件索引塊存入本地索引文件中。

一種測量報告MR文件應用在分布式文件系統HDFS的實現裝置，該裝置應用于MR文件服務器，包括：

接收單元，用于接收MR文件；

判斷單元，用于判斷所述MR文件的采集時間與本地未完成的匯總文件中MR文件的采集時間是否為同一周期，所述同一周期包括但不限于同一天、同一周、或者同一個月；

匯總單元，用于在判斷單元的判斷結果為是時，將接收的MR文件匯總至所述匯總文件中并解析MR文件形成對應的MR文件索引塊，將所述MR文件索引塊存入本地索引文件中；以及，

在判斷單元的判斷結果為否時，關閉所述匯總文件，將所述匯總文件作為已 完成的匯總文件上傳至HDFS客戶端，在本地重新創建一個標識為未完成的匯總文件，將接收的MR文件匯總至該重新創建的匯總文件中并解析MR文件形成對應的MR文件索引塊，將所述MR文件索引塊存入本地索引文件中。

由以上技術方案可以看出，本發明中，MR服務器并非單獨將一個個MR文件上傳給HDFS(HDFS客戶端)，而是將同一周期內的所有MR文件匯總在一個匯總文件(形成一個大數據文件)上傳給HDFS(HDFS客戶端)，這契合了HDFS本身的屬性，保證了Hadoop的性能和擴展性。

附圖說明

圖1為本發明提供的流程圖；

圖2為本發明提供的圖1所示流程的應用圖；

圖3為本發明提供的匯總文件的結構圖；

圖4為本發明提供的索引文件的結構圖；

圖5為本發明提供的索引數據邏輯信息的結構圖；

圖6為本發明提供的MR文件查詢流程圖；

圖7為本發明提供的另一MR文件查詢流程圖；

圖8為本發明提供的裝置結構圖。

具體實施方式

為了使本發明的目的、技術方案和優點更加清楚，下面結合附圖和具體實施例對本發明進行詳細描述。

參見圖1，圖1為本發明提供的方法流程圖。如圖1所示，該流程可包括以下步驟：

步驟101，MR文件服務器接收MR文件。