[發明專利]Hadoop分布式文件系統數據文件的生命周期管理方法和設備

有效

• 申請號: 201210406635.2
• 申請日: 2012-10-23
• 公開（公告）號: CN103778148A
• 公開（公告）日: 2014-05-07
• 發明（設計）人: 熊佳樹
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京鑫媛睿博知識產權代理有限公司 11297
• 代理人: 龔家驊

1.一種Hadoop分布式文件系統數據文件的生命周期管理方法，其特征在于，包括以下步驟：

通過解析當前所存儲的元數據，確定其中所包含的葉子目錄，以及歸屬于葉子目錄的文件；

將所述歸屬于葉子目錄的文件的文件大小信息合并至相應的葉子目錄上；

根據各葉子目錄的業務時間，對各所述葉子目錄進行歸一化處理，得到歸一化目錄；

根據各歸一化目錄中所包含的業務時間數據和文件大小數據，確定歸一化目錄所屬的類型，其中，所述業務時間數據和文件大小數據具體為根據所述歸一化目錄中的各葉子目錄上所包含的業務時間和文件大小信息得到的；

根據預設的生命周期管理策略，對各類型的歸一化目錄進行相應的數據處理。

2.如權利要求1所述的方法，其特征在于，所述通過解析當前所存儲的元數據，確定其中所包含的葉子目錄，以及歸屬于葉子目錄的文件，具體包括：

對Hadoop分布式文件系統的元數據進行解析，分揀為目錄和文件；

在分揀出的目錄中，確定其中所包含的葉子目錄；

在分揀出的文件中，確定歸屬于各葉子目錄的文件。

3.如權利要求1所述的方法，其特征在于，所述根據各葉子目錄的業務時間，對各所述葉子目錄進行歸一化處理，得到歸一化目錄，具體包括：

抽取各葉子目錄所包含的業務時間；

按照預設的策略，將所抽取的各業務時間劃分到一個或多個歸一化業務時間區間；

根據處于同一個歸一化業務時間區間的各葉子目錄，確定一個歸一化目錄；

其中，各歸一化目錄中包含歸屬于相應的歸一化目錄的各葉子目錄所對應的業務時間和文件大小信息。

4.如權利要求3所述的方法，其特征在于，所述根據各葉子目錄的業務時間，對各所述葉子目錄進行歸一化處理，得到歸一化目錄之后，還包括：

將Hadoop分布式文件系統關聯的Hive元數據庫中的存儲目錄進行與各葉子目錄相同的歸一化處理，將表數據合并至相應的歸一化目錄。

5.如權利要求3所述的方法，其特征在于，所述根據各葉子目錄的業務時間，對各所述葉子目錄進行歸一化處理，得到歸一化目錄之后，還包括：

將所產生的數據，由Hadoop分布式文件系統導入到關系型數據庫中。

6.如權利要求1所述的方法，其特征在于，所述業務時間數據和文件大小數據具體為根據所述歸一化目錄中的各葉子目錄上所包含的業務時間和文件大小信息得到的，具體包括：

根據一個歸一化目錄中的各葉子目錄上所包含的業務時間，確定所述歸一化目錄所對應的最大業務時間和最小業務時間；

根據所述歸一化目錄所對應的最大業務時間和最小業務時間，確定所述歸一化目錄的業務時間間隔；

根據當前系統業務時間和所述歸一化目錄所對應的最小業務時間，確定當前系統的系統時間間隔；

根據所述歸一化目錄中的各葉子目錄上所包含的文件大小信息，確定所述歸一化目錄在預設時間區間內的總數據量和數據增量。

7.如權利要求6所述的方法，其特征在于，所述根據各歸一化目錄中所包含的業務時間數據和文件大小數據，確定各所述歸一化目錄所屬的類型，至少包括：

根據一個歸一化目錄的業務時間間隔和所述歸一化目錄所對應的葉子目錄總數，確定所述歸一化目錄在自身的業務時間間隔內，所缺失的葉子目錄數量，并據此判斷所述歸一化目錄所對應的數據是否屬于連續性數據；和/或，

根據一個歸一化目錄的系統時間間隔和業務時間間隔，確定所述歸一化目錄在當前業務時間下，所缺失的葉子目錄數量，并根據所缺失業務目錄數量是否達到預設的缺失閾值，判斷所述歸一化目錄所對應的數據是否屬于臨時數據；和/或，

根據一個歸一化目錄在預設時間區間內的總數據量和數據增量的大小，判斷所述歸一化目錄所對應的數據是否屬于需要進行壓縮的數據。