[發(fā)明專利]用于處理HDFS中的文件存儲的方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201410302839.0
• 申請日: 2014-06-27
• 公開（公告）號: CN105205082A
• 公開（公告）日: 2015-12-30
• 發(fā)明（設(shè)計(jì)）人: 莊威;劉亮;曲俊媚;尹文君;戈弋
• 申請（專利權(quán)）人: 國際商業(yè)機(jī)器公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京市中咨律師事務(wù)所 11247
• 代理人: 于靜;張亞非

1.一種用于處理文件存儲的方法，包括：

接收一個文件存儲請求；

確定所請求存儲的文件的文件大小；

響應(yīng)于確定所述文件為小文件，將所述文件存儲請求發(fā)送給Hadoop數(shù)據(jù)庫HBase，以便將所述文件存儲到所述HBase中；以及

響應(yīng)于確定所述文件為大文件，將所述文件存儲請求發(fā)送給Hadoop分布式文件系統(tǒng)HDFS，以便將所述文件存儲到所述HDFS中，并將與所述文件相關(guān)聯(lián)的信息保存在一個記錄中。

2.如權(quán)利要求1所述的方法，進(jìn)一步包括：

接收一個文件讀取請求；

確定在所述記錄中是否存在與所述文件相關(guān)聯(lián)的信息；

響應(yīng)于找到所述信息，將所述文件讀取請求發(fā)送給所述HDFS，以便對文件進(jìn)行讀取；以及

響應(yīng)于未找到所述信息，將所述文件讀取請求發(fā)送給所述HBase，以便對文件進(jìn)行讀取。

3.如權(quán)利要求1或2所述的方法，進(jìn)一步包括：

監(jiān)視所述HBase中的文件的文件大小的變化；

響應(yīng)于文件的文件大小超過第一閾值，將所述文件從所述HBase遷移到所述HDFS，并將與所述文件相關(guān)聯(lián)的信息保存在所述記錄中。

4.如權(quán)利要求1或2所述的方法，進(jìn)一步包括：

監(jiān)視所述HDFS中的文件的文件大小的變化；

響應(yīng)于所述文件大小低于第二閾值，將所述文件從所述HDFS遷移到所述HBase，并從所述記錄中刪除與所述文件相關(guān)聯(lián)的信息。

5.如權(quán)利要求1所述的方法，其中，將所述HBase中的列族的HFile的大小設(shè)置為分別與其可存儲的文件的文件大小相匹配。

6.如權(quán)利要求5所述的方法，進(jìn)一步包括：

監(jiān)視所述HBase的列族中的文件的文件大小的變化；

響應(yīng)于所述列族中的文件的文件大小與所述列族的塊大小不匹配，將所述文件遷移到HFile的大小與其文件大小匹配的列族中。

7.一種用于處理文件存儲的系統(tǒng)，包括：

請求接收模塊，被配置為接收一個文件存儲請求；以及

管理模塊，被配置為確定所請求存儲的文件的文件大小，

所述管理模塊進(jìn)一步被配置為：

響應(yīng)于確定所述文件為小文件，將所述文件存儲請求發(fā)送給Hadoop數(shù)據(jù)庫HBase，以便將所述文件存儲到所述HBase中；以及，

響應(yīng)于確定所述文件為大文件，將所述文件存儲請求發(fā)送給Hadoop分布式文件系統(tǒng)HDFS，以便將所述文件存儲到所述HDFS中，并將與所述文件相關(guān)聯(lián)的信息保存在一個記錄中。

8.如權(quán)利要求7所述的系統(tǒng)，其中，

所述請求接收模塊進(jìn)一步被配置為接收一個文件讀取請求；

所述管理模塊進(jìn)一步被配置為：

確定在所述記錄中是否存在與所述文件相關(guān)聯(lián)的信息；

響應(yīng)于找到所述信息，將所述文件讀取請求發(fā)送給所述HDFS，以便對文件進(jìn)行讀取；以及

響應(yīng)于未找到所述信息，將所述文件讀取請求發(fā)送給所述HBase，以便對文件進(jìn)行讀取。

9.如權(quán)利要求7或8所述的系統(tǒng)，進(jìn)一步包括：

監(jiān)視模塊，被配置為監(jiān)視所述HBase中的文件的文件大小的變化；

遷移模塊，被配置為響應(yīng)于文件的文件大小超過第一閾值，將所述文件從所述HBase遷移到所述HDFS，

其中，所述管理模塊將與所述文件相關(guān)聯(lián)的信息保存在所述記錄中。

10.如權(quán)利要求7或8所述的系統(tǒng)，進(jìn)一步包括：

監(jiān)視模塊，被配置為監(jiān)視所述HDFS中的文件的文件大小的變化；以及

遷移模塊，被配置為響應(yīng)于所述文件大小低于第二閾值，將所述文件從所述HDFS遷移到所述HBase，

其中，所述管理模塊從所述記錄中刪除與所述文件相關(guān)聯(lián)的信息。

11.如權(quán)利要求7所述的系統(tǒng)，其中，將HBase中的列族的HFile的大小設(shè)置為分別與其可存儲的文件的文件大小相匹配。

12.如權(quán)利要求11所述的系統(tǒng)，進(jìn)一步包括：

監(jiān)視模塊，被配置為監(jiān)視HBase的列族中的文件的文件大小的變化；以及

優(yōu)化模塊，被配置為響應(yīng)于所述列族中的文件的文件大小與所述列族的塊大小不匹配，將所述文件遷移到HFile的大小與其文件大小匹配的列族中。