[實(shí)用新型]分布式存儲系統(tǒng)

有效

• 申請?zhí)枺?/td>: 200920208029.3
• 申請日: 2009-08-18
• 公開（公告）號: CN201726424U
• 公開（公告）日: 2011-01-26
• 發(fā)明（設(shè)計(jì)）人: 崔金峰;李杰;崔博;林晨光
• 申請（專利權(quán)）人: 升東網(wǎng)絡(luò)科技發(fā)展(上海)有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L29/06;G06F17/30
• 代理公司: 上海新天專利代理有限公司 31213
• 代理人: 王敏杰

技術(shù)領(lǐng)域

本實(shí)用新型涉及一種存儲系統(tǒng)和方法，具體涉及一種分布式存儲系統(tǒng)。

背景技術(shù)

隨著互聯(lián)網(wǎng)的發(fā)展和用戶寬帶接入的普及，一些大型網(wǎng)站開始為個人用戶提供數(shù)據(jù)存儲功能。普通用戶只要接入互聯(lián)網(wǎng)便可以將自己的數(shù)碼照片、數(shù)據(jù)文件等信息存放到此類系統(tǒng)中，也可以在任意時刻任意接入互聯(lián)網(wǎng)的地點(diǎn)從該系統(tǒng)中獲取已存入的文件信息。該系統(tǒng)給普通用戶提供極大便利的同時，也對系統(tǒng)的設(shè)計(jì)提出了更高的要求，該系統(tǒng)必須要能支撐海量數(shù)據(jù)文件進(jìn)行高速讀寫且有一定容災(zāi)能力。當(dāng)前專業(yè)存儲產(chǎn)品SAN、NAS等由于成本較高，并不適用于互聯(lián)網(wǎng)的應(yīng)用。因此我們需要設(shè)計(jì)更為適用的分布式存儲系統(tǒng)來支撐用戶的需求。當(dāng)前云計(jì)算時代已經(jīng)到來，通過軟件程序?qū)⒊砂偕锨_PC服務(wù)器組成一個分布式系統(tǒng)的技術(shù)已經(jīng)可行。

實(shí)用新型內(nèi)容

本實(shí)用新型的目的是提供一種分布式存儲系統(tǒng)，它基于Linux操作系統(tǒng)，采用高效的TCP/IP網(wǎng)絡(luò)互聯(lián)技術(shù)，將數(shù)百臺服務(wù)器連接起來，組成一個統(tǒng)一的能夠支撐海量數(shù)據(jù)存儲的分布式系統(tǒng)。

本實(shí)用新型分布式存儲系統(tǒng)的目的是通過以下技術(shù)方案實(shí)現(xiàn)的：一種分布式存儲系統(tǒng)，包括客戶端訪問接口、管理服務(wù)器及文件刪除控制器；還包括元數(shù)據(jù)服務(wù)器集群A、元數(shù)據(jù)服務(wù)器集群B、數(shù)據(jù)存儲服務(wù)器集群A、數(shù)據(jù)存儲服務(wù)器集群B、數(shù)據(jù)庫服務(wù)器集群A及數(shù)據(jù)庫服務(wù)器集群B。

所述的客戶端訪問接口分別與元數(shù)據(jù)服務(wù)器集群A、元數(shù)據(jù)服務(wù)器集群B、數(shù)據(jù)存儲服務(wù)器集群A及數(shù)據(jù)存儲服務(wù)器集群B連接；所述的客戶端訪問接口包括寫接口、讀接口及刪除接口。

所述的管理服務(wù)器分別與元數(shù)據(jù)服務(wù)器集群A及元數(shù)據(jù)服務(wù)器集群B連接；所述的管理服務(wù)器還包括管理數(shù)據(jù)庫。

所述的文件刪除控制器分別與數(shù)據(jù)存儲服務(wù)器集群A、數(shù)據(jù)存儲服務(wù)器集群B及數(shù)據(jù)庫服務(wù)器集群B連接。

所述的元數(shù)據(jù)服務(wù)器集群A及元數(shù)據(jù)服務(wù)器集群B通過TCP協(xié)議連接，相互檢測對方狀態(tài)；數(shù)據(jù)存儲服務(wù)器集群A及數(shù)據(jù)存儲服務(wù)器集群B通過TCP協(xié)議互連，相互備份文件數(shù)據(jù)；數(shù)據(jù)庫服務(wù)器集群A及數(shù)據(jù)庫服務(wù)器集群B通過TCP協(xié)議相連，數(shù)據(jù)從數(shù)據(jù)庫服務(wù)器集群A備份到數(shù)據(jù)庫服務(wù)器集群B。

所述的元數(shù)據(jù)服務(wù)器集群A及元數(shù)據(jù)服務(wù)器集群B分別與數(shù)據(jù)存儲服務(wù)器集群A及數(shù)據(jù)存儲服務(wù)器集群B兩兩連接。

所述的元數(shù)據(jù)服務(wù)器集群A、元數(shù)據(jù)服務(wù)器集群B分別與數(shù)據(jù)庫服務(wù)器集群A及數(shù)據(jù)庫服務(wù)器集群B兩兩連接。

上述的分布式存儲系統(tǒng)，其中，所述的元數(shù)據(jù)服務(wù)器集群A、元數(shù)據(jù)服務(wù)器集群B、數(shù)據(jù)存儲服務(wù)器集群A及數(shù)據(jù)存儲服務(wù)器集群B是由一個或多個同一類型的服務(wù)器組成的服務(wù)器集群；數(shù)據(jù)庫服務(wù)器集群A及數(shù)據(jù)庫服務(wù)器集群B是由一個或多個同一類型的數(shù)據(jù)庫服務(wù)器組成的數(shù)據(jù)庫服務(wù)器集群。

上述的分布式存儲系統(tǒng)，其中，所述的元數(shù)據(jù)服務(wù)器集群B、數(shù)據(jù)存儲服務(wù)器集群B及數(shù)據(jù)庫服務(wù)器集群B分別是元數(shù)據(jù)服務(wù)器集群A、數(shù)據(jù)存儲服務(wù)器集群A及數(shù)據(jù)庫服務(wù)器集群A的數(shù)據(jù)備份服務(wù)器。

上述的分布式存儲系統(tǒng)，其中，所述的客戶端訪問接口適應(yīng)所在的網(wǎng)絡(luò)的情況自動選擇集群A或集群B進(jìn)行最優(yōu)訪問。

上述的分布式存儲系統(tǒng)，其中，所述的管理服務(wù)器從元數(shù)據(jù)服務(wù)器上收集整個系統(tǒng)的信息記錄到管理數(shù)據(jù)庫中，控制整個系統(tǒng)。

上述的分布式存儲系統(tǒng)，其中，所述的文件刪除控制器定時刪除已經(jīng)過期的數(shù)據(jù)文件，進(jìn)行數(shù)據(jù)的清理。

應(yīng)用與本實(shí)用新型分布式存儲系統(tǒng)的方法包括寫數(shù)據(jù)的方法、讀數(shù)據(jù)的方法、刪除數(shù)據(jù)的方法、數(shù)據(jù)自動修復(fù)的方法及數(shù)據(jù)遷移的方法。

上述的應(yīng)用與本實(shí)用新型分布式存儲系統(tǒng)的方法，其中，所述的寫數(shù)據(jù)的方法至少包括以下步驟：

步驟1，調(diào)用者調(diào)用客戶端訪問接口的寫接口。

步驟2，客戶端訪問接口的寫接口嘗試連接最優(yōu)的元數(shù)據(jù)服務(wù)器，如果成功則進(jìn)入步驟4，否則進(jìn)入步驟3。

步驟3，客戶端訪問接口的寫接口嘗試連接在另一個互備的元數(shù)據(jù)服務(wù)器，如果成功則進(jìn)入步驟4，否則出錯，并跳到步驟13。

步驟4，客戶端訪問接口向元數(shù)據(jù)服務(wù)器發(fā)送創(chuàng)建文件的指令，并將數(shù)據(jù)的大小等信息發(fā)送給元數(shù)據(jù)服務(wù)器。

步驟5，元數(shù)據(jù)服務(wù)器生成文件名，并將新創(chuàng)建的文件信息連同文件名一起存入數(shù)據(jù)庫集群A，如果出錯則跳到步驟11，否則進(jìn)入步驟6。

步驟6，元數(shù)據(jù)服務(wù)器從數(shù)據(jù)存儲服務(wù)器集群A和數(shù)據(jù)存儲服務(wù)器集群B中挑選出兩個服務(wù)器進(jìn)行文件的存儲，如果無法挑選出兩臺服務(wù)器，則跳到步驟11，否則進(jìn)入步驟7。

步驟7，元數(shù)據(jù)服務(wù)器挑選出的兩臺數(shù)據(jù)存儲服務(wù)器，并發(fā)送信號，命令選出的兩臺數(shù)據(jù)存儲服務(wù)器進(jìn)入待寫狀態(tài)。