[發明專利]一種實現大數據平臺輸入/輸出處理的方法及系統

有效

• 申請號: 201410050179.1
• 申請日: 2014-02-13
• 公開（公告）號: CN104850548B
• 公開（公告）日: 2018-05-22
• 發明（設計）人: 魯瑞;侯建衛;王曉穎;李栓林;付長冬
• 申請（專利權）人: 中國移動通信集團山西有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;H04L29/08
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 張穎玲;王黎延

本發明實施例公開了一種實現大數據平臺I/O處理的方法，Primary server將由client推送的數據寫入自身高速緩存后，向master發送已寫入Primary server高速緩存的信號；Primary server向client反饋寫操作完成信號；Primary server將由client推送的數據發送到各個Secondary server后，各個Secondary server異步將所述數據寫入自身的高速緩存中；Primary server異步等待并接收所有Secondary server反饋的寫緩存完成信號后，向master發送已寫入Secondary server高速緩存的信號。本發明實施例還同時公開了一種實現大數據平臺I/O處理的系統。

技術領域

本發明涉及云存儲技術，尤其涉及一種實現大數據平臺輸入/輸出（Input/Output，I/O）處理的方法及系統。

背景技術

隨著互聯網中業務的飛速發展，在短時間內出現了大量格式多樣的數據。據預測，2020年數據量將達到35ZB。然而，大數據時代的核心挑戰是：數量大、種類繁、速度快，因此，各種各樣的大數據平臺應運而生。

目前，人們主要采用遵循Google文件系統（Google File System，GFS）的Hadoop分布式文件系統（Hadoop Distributed File System，HDFS）、MapReduce并行環境、以及Hbase或Hive數據庫數據倉庫等，對各種大數據業務進行處理或應用。

在實際系統中，GFS、HDFS、并行網絡文件系統（Parallel Network File System，pNFS）等分布式文件系統的主要原理結構，以GFS為例，如圖1所示。其中，GFS的每個應用均包含一個主存儲服務器（master）和多個塊存儲服務器（chunk server）；多個客戶均可通過GFS客戶端（client）與master、各個chunk server進行交互，從而實現對GFS中云存儲數據的訪問。

在具體實現中，GFS將元數據（metadata）存儲在master中，而需要存儲的具體數據存儲在各個chunk server中；元數據服務主要是client和master進行chunk server位置、塊數據位置等信息操作；而具體數據的讀寫過程操作直接與每個chunk server完成。其中，GFS、HDFS等分布式文件系統中，主要的讀數據操作過程包括：

（1）利用固定的塊（chunk）尺寸，client把文件名（file name）和程序指定的字節偏移轉換成文件的塊索引（chunk index）；

（2）client向master發送一個包含file name和chunk index的請求；

（3）master返回給client應答，包括塊句柄（chunk handle）和chunk server的位置；這里，chunk server的位置包括多個chunk server；

（4）client用file name和chunk index為鍵值緩存chunk handle和chunk server的位置信息；

（5）client發送請求到其中的一個chunk server處，一般會選擇最近的。這個請求指定了塊的塊句柄和字節范圍；這里，chunk server以chunk handle標識chunk；

（6）chunk server將指定數據發送給client。

這里，主要的寫數據操作過程包括：

（1）client向master請求當前chunk server的基本服務器（Primary server）的令牌位置和其他從屬服務器（Secondary server）的位置；