[發明專利]處理HDFS元數據的方法及系統

無效

• 申請號: 201210209078.5
• 申請日: 2012-06-21
• 公開（公告）號: CN102737130A
• 公開（公告）日: 2012-10-17
• 發明（設計）人: 武良軍;袁曉鵬
• 申請（專利權）人: 廣州從興電子開發有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王寶筠

1.一種處理HDFS元數據的方法，其特征在于，包括：

建立基于數據庫Cassandra的內存集群；

將分布式文件系統HDFS元數據存儲到Cassandra集群中的分布式數據庫；

對存儲到Cassandra集群中的分布式數據庫的HDFS元數據進行處理操作。

2.根據權利要求1所述的方法，其特征在于：

所述將HDFS元數據存儲到Cassandra集群中的分布式數據庫包括：

將HDFS元數據通過冗余復制存儲到Cassandra集群中的分布式數據庫。

3.根據權利要求2所述的方法，其特征在于：

所述將HDFS元數據通過冗余復制存儲到Cassandra集群中的分布式數據庫包括：

將每份HDFS元數據在Cassandra集群的內存中的N個節點形成冗余，所述N大于1。

4.根據權利要求1所述的方法，其特征在于：

所述建立基于Cassandra的內存集群包括：

采用點對點P2P分布式技術建立基于Cassandra的內存集群，結合一致性哈希算法將所述內存集群形成一個環狀。

5.根據權利要求1所述的方法，其特征在于：

所述對存儲到Cassandra集群中的分布式數據庫的HDFS元數據進行處理操作包括：

對存儲到Cassandra集群中的分布式數據庫的HDFS元數據進行至少以下一項操作：查詢、插入、刪除。

6.根據權利要求5所述的方法，其特征在于：

所述刪除包括：修改Cassandra在內存中的數據刪除策略，在Cassandra增加內存記錄的刪除。

7.根據權利要求5所述的方法，其特征在于：

所述對存儲到Cassandra集群中的分布式數據庫的HDFS元數據進行處理操作還包括：改造Cassandra集群的歸并操作，使得錯開Cassandra集群的歸并操作同HDFS元數據的讀寫操作。

8.一種數據庫系統，其特征在于：

包括至少一個以上內存集群服務器節點；

所述至少一個以上內存集群服務器節點建立基于Cassandra的內存集群；

所述內存集群服務器節點對存儲到Cassandra集群中的分布式數據庫的HDFS元數據進行處理操作。

9.根據權利要求8所述的系統，其特征在于：

所述內存集群服務器節點包括請求協調器、集群協調器、元數據RID模塊；

請求協調器，用于接收對HDFS元數據的操作請求；

集群協調器，采用P2P分布式技術建立基于Cassandra的內存集群，結合一致性哈希算法將所述內存集群形成一個環狀；

元數據RID模塊，根據請求協調器的請求，對存儲到Cassandra集群中的分布式數據庫的HDFS元數據進行處理操作，所述處理操作包括至少以下一項操作：查詢、插入、刪除。

10.根據權利要求9所述的系統，其特征在于：

所述內存集群服務器節點還包括受控歸并模塊，用于改造Cassandra集群的歸并操作，使得錯開Cassandra集群的歸并操作同HDFS元數據的RID的讀寫操作。