[發(fā)明專利]分布式文件系統(tǒng)的版本間映射

有效

• 申請?zhí)枺?/td>: 201580028177.5
• 申請日: 2015-01-05
• 公開（公告）號: CN106796500B
• 公開（公告）日: 2020-12-25
• 發(fā)明（設(shè)計）人: 托馬斯·A·費倫;古納西蘭·拉克希米納拉亞南;邁克爾·莫雷蒂;喬爾·巴克斯特;拉克什曼·希納科特拉
• 申請（專利權(quán)）人: 慧與發(fā)展有限責(zé)任合伙企業(yè)
• 主分類號: G06F9/06
• 分類號: G06F9/06
• 代理公司: 北京市金杜律師事務(wù)所 11256
• 代理人: 王茂華

本文描述了一種向大規(guī)模處理框架(LSPF)集群中的LSPF節(jié)點提供數(shù)據(jù)的系統(tǒng)、方法及軟件。在一個示例中，一種用于提供數(shù)據(jù)的方法包括：從LSPF節(jié)點接收根據(jù)分布式文件系統(tǒng)的版本訪問數(shù)據(jù)的訪問請求。該方法還包括：響應(yīng)于該訪問請求，根據(jù)該分布式文件系統(tǒng)的不同版本訪問針對LSPF節(jié)點的數(shù)據(jù)；以及根據(jù)由LSPF節(jié)點使用的分布式文件系統(tǒng)的版本將數(shù)據(jù)呈送給該LSPF節(jié)點。

技術(shù)領(lǐng)域

本公開內(nèi)容的諸方面涉及計算硬件和軟件技術(shù)，尤其涉及分布式文件系統(tǒng)的版本間映射。

背景技術(shù)

越來越多的數(shù)據(jù)密集型分布式應(yīng)用正在被開發(fā)以服務(wù)諸如處理通常不能由單個計算機處理的非常大的數(shù)據(jù)集的各種需要。相反，計算機集群被用于分配諸如組織和訪問數(shù)據(jù)以及執(zhí)行關(guān)于數(shù)據(jù)的相關(guān)操作的各種任務(wù)或作業(yè)。已經(jīng)開發(fā)了包括Hive、HBase、Hadoop、Amazon S3和CloudStore等的各種應(yīng)用和框架來與這樣的大數(shù)據(jù)集交互。這些應(yīng)用和框架通常采用允許更快地訪問在集群內(nèi)啟動的計算機的各種分布式文件系統(tǒng)。然而，隨著對文件系統(tǒng)和框架的創(chuàng)新，不同版本的框架可能不能訪問不同版本的文件系統(tǒng)。

除了分布式應(yīng)用和框架的進步之外，虛擬化技術(shù)已經(jīng)變得普及并且在數(shù)據(jù)中心和其他環(huán)境中是常見的，其中，在前述數(shù)據(jù)中心和其他環(huán)境中提高使用計算資源的效率是有用的。在虛擬化環(huán)境中，一個或更多個虛擬機在底層計算機(或另一虛擬機)上實例化并共享底層計算機的資源。因此，不是使每個計算設(shè)備具有單個處理節(jié)點，而是集群可以采用每個計算設(shè)備多個虛擬機以更有效地分配工作負荷。

發(fā)明內(nèi)容

本文提供了一種向大規(guī)模處理框架(LSPF)集群中的LSPF節(jié)點提供數(shù)據(jù)的系統(tǒng)、方法及軟件。在一個示例中，一種提供數(shù)據(jù)的方法包括：從LSPF節(jié)點接收根據(jù)分布式文件系統(tǒng)的版本訪問數(shù)據(jù)的訪問請求。該方法還包括：響應(yīng)于訪問請求，根據(jù)分布式文件系統(tǒng)的不同版本訪問針對LSPF節(jié)點的數(shù)據(jù)；以及根據(jù)由LSPF節(jié)點使用的分布式文件系統(tǒng)的版本將數(shù)據(jù)呈送給LSPF節(jié)點。

在另一實例中，一種向LSPF集群中的LSPF節(jié)點提供數(shù)據(jù)的計算機裝置包括處理指令，處理指令當由數(shù)據(jù)服務(wù)計算系統(tǒng)執(zhí)行時指示數(shù)據(jù)服務(wù)計算系統(tǒng)從LSPF節(jié)點接收用于根據(jù)分布式文件系統(tǒng)的版本訪問數(shù)據(jù)的訪問請求。處理指令還指示數(shù)據(jù)服務(wù)計算系統(tǒng)：響應(yīng)于訪問請求，根據(jù)分布式文件系統(tǒng)的不同版本訪問針對LSPF節(jié)點的數(shù)據(jù)；以及根據(jù)由LSPF節(jié)點使用的分布式文件系統(tǒng)的版本將數(shù)據(jù)呈送給LSPF節(jié)點。計算機裝置還包括一個或更多個非暫態(tài)計算機可讀介質(zhì)，一個或更多個非暫態(tài)計算機可讀介質(zhì)存儲處理指令。

在另一示例中，一種向LSPF集群中的LSPF節(jié)點提供數(shù)據(jù)的系統(tǒng)包括LSPF節(jié)點，該LSPF節(jié)點被配置成發(fā)起用于根據(jù)分布式文件系統(tǒng)的版本訪問數(shù)據(jù)的訪問請求。該系統(tǒng)還包括數(shù)據(jù)服務(wù)，該數(shù)據(jù)服務(wù)被配置成：識別訪問請求；以及響應(yīng)于訪問請求，根據(jù)分布式文件系統(tǒng)的不同版本訪問針對LSPF節(jié)點的數(shù)據(jù)。數(shù)據(jù)服務(wù)還被配置成根據(jù)由LSPF節(jié)點使用的分布式文件系統(tǒng)的版本將數(shù)據(jù)呈送給LSPF節(jié)點。

附圖說明

參照下面的附圖可以更好地理解本公開內(nèi)容的多個方面。雖然結(jié)合附圖描述了若干實現(xiàn)方式，但是本公開內(nèi)容不限于本文所公開的實現(xiàn)方式。相反，意在涵蓋所有替代、修改和等同方式。

圖1圖示出了向大規(guī)模處理框架集群中的大規(guī)模處理框架節(jié)點提供數(shù)據(jù)的計算環(huán)境。

圖2圖示出了向大規(guī)模處理框架集群中的大規(guī)模處理框架節(jié)點提供數(shù)據(jù)的方法。

圖3圖示出了虛擬大規(guī)模處理框架集群。

圖4圖示出了用于向大規(guī)模處理框架集群中的大規(guī)模處理框架節(jié)點提供數(shù)據(jù)的概況。

圖5圖示出了用于向虛擬大規(guī)模處理框架集群中的大規(guī)模處理框架節(jié)點提供數(shù)據(jù)的概況。

圖6圖示出了用于向大規(guī)模處理框架集群中的大規(guī)模處理框架節(jié)點提供數(shù)據(jù)的計算系統(tǒng)。