[發明專利]分布式存儲系統和方法

有效

• 申請號: 200910056572.0
• 申請日: 2009-08-18
• 公開（公告）號: CN101997884A
• 公開（公告）日: 2011-03-30
• 發明（設計）人: 崔金峰;李杰;崔博;林晨光
• 申請（專利權）人: 升東網絡科技發展(上海)有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L29/06;G06F17/30
• 代理公司: 上海新天專利代理有限公司 31213
• 代理人: 王敏杰

技術領域

本發明涉及一種存儲系統和方法，具體涉及一種分布式存儲系統和方法。

背景技術

隨著互聯網的發展和用戶寬帶接入的普及，一些大型網站開始為個人用戶提供數據存儲功能。普通用戶只要接入互聯網便可以將自己的數碼照片、數據文件等信息存放到此類系統中，也可以在任意時刻任意接入互聯網的地點從該系統中獲取已存入的文件信息。該系統給普通用戶提供極大便利的同時，也對系統的設計提出了更高的要求，該系統必須要能支撐海量數據文件進行高速讀寫且有一定容災能力。當前專業存儲產品SAN、NAS等由于成本較高，并不適用于互聯網的應用。因此我們需要設計更為適用的分布式存儲系統來支撐用戶的需求。當前云計算時代已經到來，通過軟件程序將成百上千臺PC服務器組成一個分布式系統的技術已經可行。

發明內容

本發明的目的是提供一種分布式存儲系統和方法，它基于Linux操作系統，采用高效的TCP/IP網絡互聯技術，將數百臺服務器連接起來，組成一個統一的能夠支撐海量數據存儲的分布式系統。

本發明分布式存儲系統和方法的目的是通過以下技術方案實現的：一種分布式存儲系統和方法，包括客戶端訪問接口、管理服務器及文件刪除控制器；還包括元數據服務器集群A、元數據服務器集群B、數據存儲服務器集群A、數據存儲服務器集群B、數據庫服務器集群A及數據庫服務器集群B。

所述的客戶端訪問接口分別與元數據服務器集群A、元數據服務器集群B、數據存儲服務器集群A及數據存儲服務器集群B連接；所述的客戶端訪問接口包括寫接口、讀接口及刪除接口。

所述的管理服務器分別與元數據服務器集群A及元數據服務器集群B連接；所述的管理服務器還包括管理數據庫。

所述的文件刪除控制器分別與數據存儲服務器集群A、數據存儲服務器集群B及數據庫服務器集群B連接。

所述的元數據服務器集群A及元數據服務器集群B通過TCP協議連接，相互檢測對方狀態；數據存儲服務器集群A及數據存儲服務器集群B通過TCP協議互連，相互備份文件數據；數據庫服務器集群A及數據庫服務器集群B通過TCP協議相連，數據從數據庫服務器集群A備份到數據庫服務器集群B。

所述的元數據服務器集群A及元數據服務器集群B分別與數據存儲服務器集群A及數據存儲服務器集群B兩兩連接。

所述的元數據服務器集群A、元數據服務器集群B分別與數據庫服務器集群A及數據庫服務器集群B兩兩連接。

上述的分布式存儲系統和方法，其中，所述的元數據服務器集群A、元數據服務器集群B、數據存儲服務器集群A及數據存儲服務器集群B是由一個或多個同一類型的服務器組成的服務器集群；數據庫服務器集群A及數據庫服務器集群B是由一個或多個同一類型的數據庫服務器組成的數據庫服務器集群；所述的元數據服務器集群B、數據存儲服務器集群B及數據庫服務器集群B分別是元數據服務器集群A、數據存儲服務器集群A及數據庫服務器集群A的數據備份服務器。

上述的分布式存儲系統和方法，其中，該方法包括分布式存儲系統的寫數據的方法、分布式存儲系統的讀數據的方法、分布式存儲系統的刪除數據的方法、分布式存儲系統的數據自動修復的方法及分布式存儲系統的數據遷移的方法。

上述的分布式存儲系統和方法，其中，所述的分布式存儲系統的寫數據的方法至少包括以下步驟：

步驟1，調用者調用客戶端訪問接口的寫接口。

步驟2，客戶端訪問接口的寫接口嘗試連接最優的元數據服務器，如果成功則進入步驟4，否則進入步驟3。

步驟3，客戶端訪問接口的寫接口嘗試連接在另一個互備的元數據服務器，如果成功則進入步驟4，否則出錯，并跳到步驟13。

步驟4，客戶端訪問接口向元數據服務器發送創建文件的指令，并將數據的大小等信息發送給元數據服務器。

步驟5，元數據服務器生成文件名，并將新創建的文件信息連同文件名一起存入數據庫集群A，如果出錯則跳到步驟11，否則進入步驟6。

步驟6，元數據服務器從數據存儲服務器集群A和數據存儲服務器集群B中挑選出兩個服務器進行文件的存儲，如果無法挑選出兩臺服務器，則跳到步驟11，否則進入步驟7。

步驟7，元數據服務器挑選出的兩臺數據存儲服務器，并發送信號，命令選出的兩臺數據存儲服務器進入待寫狀態。

步驟8，元數據服務器返回給客戶端成功消息，并將數據存儲服務器列表及新創建的文件名一并返回。

步驟9，客戶端訪問接口根據網絡情況從兩臺數據存儲服務器中選出最優的一臺服務器，將文件數據發送給最優數據存儲服務器，下稱其為數據存儲服務器A，另一臺稱數據存儲服務器B。