[發(fā)明專利]數(shù)據(jù)處理方法及裝置

在審

• 申請?zhí)枺?/td>: 201610315583.6
• 申請日: 2016-05-12
• 公開（公告）號: CN107368490A
• 公開（公告）日: 2017-11-21
• 發(fā)明（設(shè)計）人: 霍紹博;吳希選;呂朝暉;許惠超;祝智崗;付長冬;單莘;張美松
• 申請（專利權(quán)）人: 中國移動通信集團河北有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京派特恩知識產(chǎn)權(quán)代理有限公司11270
• 代理人: 張穎玲,張振偉

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)處理方法及裝置。

背景技術(shù)

分布式系統(tǒng)基礎(chǔ)架構(gòu)(Hadoop)是大數(shù)據(jù)時代最為核心的解決方案之一，其主要包括Hadoop分布式文件系統(tǒng)(HDFS，Hadoop Distribute File System)、計算框架(MapReduce)、數(shù)據(jù)庫(HBase)、數(shù)據(jù)倉庫(Hive)以及其他組件，其中，HDFS是Hadoop的最為基礎(chǔ)的分布式計算存儲平臺。但是，HDFS至少存在如下兩方面問題：

1)存儲元數(shù)據(jù)(metadata)的名稱節(jié)點(NameNode)存在單點故障問題：針對該問題目前已經(jīng)公開的解決NameNode高可靠性(HA)問題的技術(shù)列舉如下：現(xiàn)有技術(shù)1公開了一種分布式系統(tǒng)的NameNode切換方法和系統(tǒng)，通過主從NameNode節(jié)點切換實現(xiàn)HDFS系統(tǒng)的高可靠性；現(xiàn)有技術(shù)2公開了一種解決Hadoop分布式文件系統(tǒng)NameNode單點故障的HA方法，采用兩臺服務(wù)器實現(xiàn)雙機熱備，將元數(shù)據(jù)保存在共享存儲中，該方法也是解決NameNode節(jié)點HA問題；現(xiàn)有技術(shù)3公開了一種云存儲數(shù)據(jù)同步框架及其實現(xiàn)方法，提出云存儲數(shù)據(jù)同步框架(Quorum)，以解決NameNode節(jié)點單點故障時的服務(wù)中斷問題；上述技術(shù)方案可以有效解決NameNode節(jié)點的高可靠性問題。

2)HDFS存在的無法有效處理海量小文件的問題：參見圖1，因為HFDS在NameNode節(jié)點中存儲元數(shù)據(jù)，而因為NameNode節(jié)點把文件系統(tǒng)的元數(shù)據(jù)放置在服務(wù)器內(nèi)存中，所以文件系統(tǒng)所能容納的文件數(shù)目是由NameNode的內(nèi)存大小來決定；然而，NameNode的內(nèi)存大小是有限的，使得HDFS系統(tǒng)無法高效存儲大量的小文件。對此，現(xiàn)有技術(shù)4公開了一種海量小文件存儲及管理 方法和系統(tǒng)，方法包括：存儲海量小文件，并將元數(shù)據(jù)寫入NameNode服務(wù)網(wǎng)絡(luò)；NameNode服務(wù)網(wǎng)絡(luò)管理元數(shù)據(jù)，實現(xiàn)對客戶端訪問請求的響應(yīng)；具體地，將多個NameNode節(jié)點組成對等網(wǎng)絡(luò)，每個NameNode節(jié)點在對等網(wǎng)絡(luò)的地位是相同的，它們協(xié)同解決小文件的存儲和管理問題，通過改進NameNode實現(xiàn)機制而提升HDFS處理海量小文件的能力，采用對等計算技術(shù)，避免單點失效問題，提供基于關(guān)鍵字的路由查找方法，有效均衡網(wǎng)絡(luò)負載，提高查詢效率。

然而，現(xiàn)有技術(shù)4中NameNode對等網(wǎng)絡(luò)(Peer-to-Peer)實現(xiàn)起來非常復(fù)雜，而且會損失輸入/輸出(I/O)處理性能，進而會影響HDFS系統(tǒng)的吞吐量，而HDFS系統(tǒng)的核心的目的之一正是實現(xiàn)高吞吐量；如此，現(xiàn)有技術(shù)會增加實現(xiàn)復(fù)雜性，降低系統(tǒng)吞吐量。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實施例期望提供一種數(shù)據(jù)處理方法及裝置，能降低實現(xiàn)復(fù)雜性，提高系統(tǒng)吞吐量。

為達到上述目的，本發(fā)明的技術(shù)方案是這樣實現(xiàn)的：

本發(fā)明實施例提供一種數(shù)據(jù)處理方法，方法包括：

第一名稱節(jié)點根據(jù)所述客戶端發(fā)送的訪問請求，從至少一個第二名稱節(jié)點中確定與所述訪問請求對應(yīng)的目標名稱節(jié)點；

所述第一名稱節(jié)點向所述目標名稱節(jié)點發(fā)送所述訪問請求；

所述目標名稱節(jié)點根據(jù)所述訪問請求進行響應(yīng)處理，并將處理結(jié)果反饋給所述第一名稱節(jié)點；

所述第一名稱節(jié)點根據(jù)所述處理結(jié)果向所述客戶端發(fā)送訪問響應(yīng)。

在上述實施例的基礎(chǔ)上，所述方法還包括：

所述第一名稱節(jié)點檢測各所述至少一個第二名稱節(jié)點的內(nèi)存使用信息；

檢測到所述至少一個第二名稱節(jié)點中的第三名稱節(jié)點的內(nèi)存使用信息滿足第一預(yù)設(shè)條件時，從所述至少一個第二名稱節(jié)點中查找到目前狀態(tài)為不正在使用的第四名稱節(jié)點；

確定所述第四名稱節(jié)點的內(nèi)存使用信息滿足第二預(yù)設(shè)條件時，將所述第三名稱節(jié)點存儲的部分元數(shù)據(jù)遷移至所述第四名稱節(jié)點中，以使所述第三名稱節(jié)點的內(nèi)存使用信息滿足第三預(yù)設(shè)條件。

在上述實施例的基礎(chǔ)上，所述第一名稱節(jié)點檢測各所述至少一個第二名稱節(jié)點的內(nèi)存使用信息，包括：

所述第一名稱節(jié)點查詢節(jié)點管理表，獲取各所述至少一個第二名稱節(jié)點的內(nèi)存使用信息；其中，所述節(jié)點管理表，用于記錄各所述至少一個第二名稱節(jié)點的目前狀態(tài)及內(nèi)存使用信息。

在上述實施例的基礎(chǔ)上，第一名稱節(jié)點根據(jù)所述客戶端發(fā)送的訪問請求，從至少一個第二名稱節(jié)點中確定與所述訪問請求對應(yīng)的目標名稱節(jié)點，包括：