[發明專利]一種數據寫入方法、裝置、數據處理方法、裝置及系統

有效

• 申請號: 201610192497.0
• 申請日: 2016-03-30
• 公開（公告）號: CN107295030B
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 吳洋
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京清源匯知識產權代理事務所(特殊普通合伙) 11644
• 代理人: 馮德魁

本申請公開了一種客戶端的數據寫入方法、裝置及電子設備、一種塊數據服務器的數據處理方法、裝備及電子設備以及一種分布式文件系統。其中，所述客戶端的數據寫入方法，包括：向存儲對應文件的塊數據服務器發送執行追加寫操作的請求；所述請求攜帶需要追加寫入文件的數據；在滿足需求后，向存儲對應文件的所有塊數據服務器并行發送執行提交操作的請求。采用上述方法解決了寫文件和提交的延遲非常高，代價太大的問題，使每個塊數據服務器在相同時間同時將數據寫入到本地硬盤中，節約了時間，提高了系統的運算處理速度，從而提升了系統的吞吐率。

技術領域

本申請涉及計算機技術領域，具體涉及一種客戶端的數據寫入方法、一種塊數據服務器的數據處理方法、一種分布式文件系統以及一種基于分布式文件系統的數據寫入方法；本申請同時涉及一種客戶端的數據寫入裝置及一種電子設備、一種塊數據服務器的數據處理裝置及另一種電子設備以及一種基于分布式文件系統的數據寫入裝置。

背景技術

隨著信息技術的發展，存儲數據在爆炸式的增長，本地的存儲很難滿足不斷增長的海量存儲的需要，加上個人移動計算和企業級的大規模計算對底層存儲系統提出更高的要求，人們越來越多的使用分布式文件系統，例如：Google的核心存儲平臺GFS(googleFile System)。以GFS為典型代表的分布式文件系統采用的是服務器/客戶端結構，主要組成部分包括主服務器master(元數據服務器)、塊數據服務器chunk server和客戶端client，三者之間通過各自的網絡協議進行指令和數據通信。

GFS采用多文件副本的方式存儲文件，即一個文件的數據擁有多個文件副本，分別存儲在不同塊數據服務器里。當一臺或多臺塊數據服務器意外宕機時，這個文件的數據依然可用。多文件副本的方式大大提高了分布式文件系統的可靠性。當用戶上傳一個文件到分布式文件系統，只有指定的三個塊數據服務器寫入了文件副本。塊數據服務器一般采用鏈式寫文件的方法，客戶端向第一臺塊數據服務器發送數據，第一臺塊數據服務器先把數據存儲在緩沖區中，在把數據轉發給下一臺塊數據服務器，然后等待下一臺塊數據服務器的響應。之后的所有數據服務器都是如此，數據逐個向后轉發，直到最后一臺塊數據服務器把數據存儲在緩沖區中后，創建接收成功的反饋信息并發給客戶端，然后再由客戶端向第一臺塊數據服務器發送提交命令，第一臺塊數據服務器接收到命令后把數據寫到本地硬盤，然后把提交命令轉發給下一臺塊數據服務器，直到最后一臺塊數據服務器把數據寫到硬盤后，創建提交成功的反饋信息并發給上一臺塊數據服務器，上一臺塊數據服務器收到反饋信息并且自己已經寫數據到硬盤，才能向上一臺塊數據服務器發送寫成功的反饋信息。直到客戶端收到寫成功的反饋信息，則本次寫操作完成。

由此可見，鏈式寫文件的方式需要所有指定的塊數據服務器都把文件數據寫入到本地硬盤，然后由最后一臺塊數據服務器依次向前一臺發送寫成功與提交成功的反饋信息，直到客戶端。雖然這種方式保證文件可以成功寫入塊數據服務器，但是寫文件和提交的延遲非常高，代價太大，而且每個塊數據服務器都在不同的時間寫數據到本地硬盤，浪費時間，降低了系統的運算處理速度，影響系統的吞吐率。

發明內容

本申請提供一種客戶端的數據寫入方法、一種塊數據服務器的數據處理方法、一種分布式文件系統以及一種基于分布式文件系統的數據寫入方法，以解決現有技術中的上述問題。本申請同時涉及一種客戶端的數據寫入裝置及一種電子設備、一種塊數據服務器的數據處理裝置及另一種電子設備以及一種基于分布式文件系統的數據寫入裝置。

本申請提供了一種客戶端的數據寫入方法，所述客戶端的數據寫入方法，包括：

向存儲對應文件的塊數據服務器發送執行追加寫操作的請求；所述請求攜帶需要追加寫入文件的數據；

在滿足需求后，向存儲對應文件的所有塊數據服務器并行發送執行提交操作的請求。

可選的，在所述向存儲對應文件的塊數據服務器發送執行追加寫操作的請求的步驟之前，還包括：

向主服務器發送需要寫入數據的文件的名稱；