[發明專利]基于Hadoop分布式文件系統的表數據的有序管理方法以及系統

有效

• 申請號: 201310331520.6
• 申請日: 2013-08-01
• 公開（公告）號: CN103353901A
• 公開（公告）日: 2013-10-16
• 發明（設計）人: 張眾;譚待
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 羅延紅;金玉蘭

1.一種基于Hadoop分布式文件系統（HDFS）的表數據的有序管理方法，包括：

接收待操作的表的名稱和包括多個操作記錄的批量數據，所述操作記錄包括對表記錄的操作的信息以及包括鍵值的操作數據；

基于Hadoop，根據操作記錄中的鍵值對所述批量數據進行抽樣排序，并且生成分區標尺；

基于Hadoop，根據操作記錄中的鍵值和生成的分區標尺，對所述批量數據進行排序；

基于Hadoop，對經排序的所述批量數據生成索引數據，每條索引包括操作記錄的鍵值、存儲有所述批量數據的文件名以及所述操作記錄的偏移值；

在HDFS系統的指定目錄下以文件形式存儲經排序的批量數據和生成的索引數據；

將所述表的名稱、存儲有所述批量數據的文件的文件名、存儲有所述索引數據的文件的文件名以及所述指定目錄的路徑數據發送給主服務器。

2.如權利要求1所述的方法，其特征在于，所述對表記錄的操作是插入、修改以及刪除中的一個。

3.如權利要求2所述的方法，其特征在于，所述基于Hadoop對經排序的所述批量數據生成索引數據的步驟包括：基于Hadoop，對經排序的所述批量數據生成抽樣索引數據。

4.如權利要求3所述的方法，還包括：向主服務器發送包括所述表的名稱的路徑數據請求，并且從主服務器接收包括所述表的路徑數據的響應，其中，在所述接收的路徑數據指示的目錄下以文件形式存儲經排序的批量數據和生成的索引數據。

5.如權利要求3所述的方法，還包括：

從主服務器接收操作結果；

顯示所述操作結果。

6.一種基于Hadoop分布式文件系統（HDFS）的表數據的有序管理方法，包括：

從客戶端接收表的名稱、批量數據文件的文件名、索引數據文件的文件名以及表的路徑數據；

根據接收的表名稱在表管理數據中查找相應的表信息，所述表管理數據中的每條表信息包括表名稱、表的路徑數據以及各個索引數據文件的文件名；

如果沒有找到相應的表信息，則在表管理數據中添加包括接收的表的名稱、接收的表的路徑數據以及索引數據文件的文件名的表信息；

如果找到了相應的表信息，則在找到的表信息中添加所述表的索引數據文件的文件名；

選擇索引服務器，并且向選擇的索引服務器發送表的名稱、表的路徑數據和索引數據文件的文件名；

在索引服務器管理數據中記錄關于所述索引服務器管理所述表的所述索引數據的信息。

7.如權利要求6所述的方法，還包括：向所述客戶端發送操作結果。

8.一種基于Hadoop分布式文件系統（HDFS）的表數據的有序管理方法，包括：

從主服務器接收表的名稱、表的路徑數據和索引數據文件的文件名；

根據所述表的路徑數據和索引數據文件的文件名加載相應的索引數據。

9.一種從基于Hadoop分布式文件系統（HDFS）讀取表數據的方法，包括：

接收表名稱以及索引鍵值；

向主服務器發送包括所述表名稱的第一請求；

從主服務器接收包括表的路徑數據以及索引服務器信息的第一響應；

分別向接收的索引服務器信息指示的各個索引服務器發送包括所述表名稱和索引鍵值的第二請求；

從所述各個索引服務器接收包括表數據的文件名和偏移值的第二響應；

根據接收的表的路徑數據、表數據的文件名和偏移值以及接收的索引鍵值讀取包括操作信息以及操作數據的目標記錄；

根據讀取的目標記錄的寫入順序以及目標記錄中的操作信息構建要返回的表記錄；并且

發送構建的表記錄。

10.如權利要求9所述的方法，其特征在于，所述對表記錄的操作是插入、修改以及刪除中的一個。