[發(fā)明專利]一種對象數(shù)據(jù)服務(wù)器讀寫請求的調(diào)度方法

有效

• 申請?zhí)枺?/td>: 201110399426.5
• 申請日: 2011-12-06
• 公開（公告）號: CN102541467A
• 公開（公告）日: 2012-07-04
• 發(fā)明（設(shè)計）人: 王芳;馮丹;施展;譚支鵬;陳奇;李楚
• 申請（專利權(quán)）人: 華中科技大學(xué)
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 華中科技大學(xué)專利中心 42201
• 代理人: 方放

技術(shù)領(lǐng)域

本發(fā)明屬于計算機(jī)存儲領(lǐng)域，具體涉及一種對象數(shù)據(jù)服務(wù)器讀寫請求的的調(diào)度方法。

背景技術(shù)

隨著互聯(lián)網(wǎng)業(yè)務(wù)量的增加、訪問量和數(shù)據(jù)流量的快速增長，存儲系統(tǒng)各個核心部分的處理的強(qiáng)度也相應(yīng)增大，使得單一存儲設(shè)備根本無法承擔(dān)。在此情況下，如果扔掉現(xiàn)有設(shè)備去做大量的硬件升級，勢必造成現(xiàn)有資源的浪費，而且再面臨下一次業(yè)務(wù)量的提升，又將導(dǎo)致再一次硬件升級的高額成本投入，性能再卓越的設(shè)備也不能滿足當(dāng)前業(yè)務(wù)量要求。所以現(xiàn)在的存儲系統(tǒng)需要面對性能、容量不同的異構(gòu)存儲設(shè)備。

在對象存儲系統(tǒng)中，對象數(shù)據(jù)服務(wù)器實際上是部署在一臺完整的服務(wù)器上，其后端直接或者通過網(wǎng)絡(luò)掛載許多存儲設(shè)備，如高端磁盤，固態(tài)盤(SSD)、附網(wǎng)存儲系統(tǒng)(NAS)，存儲區(qū)域網(wǎng)(SAN)，這些存儲設(shè)備的能力有強(qiáng)有弱，存儲的容量也有大有小。對象數(shù)據(jù)服務(wù)器計算功能強(qiáng)大，但網(wǎng)絡(luò)的吞吐量遠(yuǎn)遠(yuǎn)大于存儲設(shè)備的吞吐量，所以對象數(shù)據(jù)服務(wù)器處理讀寫請求的性能瓶頸往往存在于存儲設(shè)備上；

處理上層的讀寫請求，現(xiàn)有的一種做法是對象數(shù)據(jù)服務(wù)器使用磁盤陣列(RAID)控制器將多個存儲設(shè)備配成高性能的磁盤陣列，這就是硬件RAID的解決方法；還有一種做法是使用Linux系統(tǒng)自帶的軟件，將多個存儲設(shè)備配成磁盤陣列，成為軟RAID機(jī)制。硬件RAID的方法可以提高設(shè)備的性能和可靠性，但是它需要存儲設(shè)備之間的性能和容量相當(dāng)，無法配備異構(gòu)的存儲設(shè)備，而且往往價格昂貴。Linux系統(tǒng)自帶的軟RAID機(jī)制，可以便捷的解決不同性能、容量存儲設(shè)備的調(diào)度，提高對象數(shù)據(jù)服務(wù)器的性能，但是它不能根據(jù)上層IO請求選擇合適的存儲設(shè)備進(jìn)行服務(wù)，也不能在多個存儲設(shè)備之間進(jìn)行負(fù)載的遷移，不能保證存儲設(shè)備的負(fù)載均衡。

本發(fā)明依據(jù)Linux系統(tǒng)，其中存儲設(shè)備，包括磁盤、固態(tài)盤(SSD)以及非本機(jī)的附網(wǎng)存儲系統(tǒng)(NAS)、存儲區(qū)域網(wǎng)(SAN)，其中，將非本機(jī)的附網(wǎng)存儲系統(tǒng)(NAS)、存儲區(qū)域網(wǎng)(SAN)定義為虛擬設(shè)備。

設(shè)備掛載路徑指的是存儲設(shè)備掛載(mount)時，使用者指定的在linux操作系統(tǒng)上的路徑，它與存儲設(shè)備一一對應(yīng)，通過對設(shè)備掛載路徑的讀寫來實現(xiàn)對存儲設(shè)備的讀寫操作。

設(shè)備標(biāo)示符是存儲設(shè)備的唯一標(biāo)識；在對象存儲系統(tǒng)中，對象標(biāo)示符(OID)為64位的整數(shù)，用于唯一標(biāo)識一個對象；對象標(biāo)示符由客戶端產(chǎn)生，并在請求的時候，作為參數(shù)傳給對象數(shù)據(jù)服務(wù)器；對象數(shù)據(jù)服務(wù)器在處理讀寫請求的時候，由對象標(biāo)示符對應(yīng)的對象會被寫在由設(shè)備標(biāo)示符標(biāo)識的存儲設(shè)備上。

發(fā)明內(nèi)容

本發(fā)明提供一種對象數(shù)據(jù)服務(wù)器讀寫請求的的調(diào)度方法，解決現(xiàn)有Linux系統(tǒng)自帶軟件不能保證存儲設(shè)備負(fù)載均衡的問題，從而進(jìn)一步提高對象數(shù)據(jù)服務(wù)器的可用性和性能。

本發(fā)明的一種對象數(shù)據(jù)服務(wù)器讀寫請求的的調(diào)度方法，包括下述步驟：

A.初始化步驟，包括以下過程：

(A1)設(shè)置設(shè)備列表、設(shè)備負(fù)載表、小磁盤組表、中磁盤組表、大磁盤組表、容量利用率升序表、源設(shè)備隊列、目標(biāo)設(shè)備隊列、元數(shù)據(jù)信息表；設(shè)備列表表項包括設(shè)備標(biāo)示符及其對應(yīng)的設(shè)備掛載路徑，設(shè)備負(fù)載表表項包括設(shè)備標(biāo)示符及其對應(yīng)的讀寫速率、容量、可用容量和設(shè)備利用率因子；大、中、小磁盤組表表項均包括磁盤組標(biāo)示符及其對應(yīng)的設(shè)備標(biāo)示符、讀寫速率、容量、可用容量和設(shè)備利用率因子；容量利用率升序表表項包括設(shè)備標(biāo)示符及其對應(yīng)的可用容量和設(shè)備利用率因子；源設(shè)備隊列表項和目標(biāo)設(shè)備隊列表項包括設(shè)備標(biāo)示符；元數(shù)據(jù)信息表表項包括對象標(biāo)示符及其對應(yīng)的設(shè)備標(biāo)示符；

按照各存儲設(shè)備的可用容量大小，將存儲設(shè)備分別歸入大、中、小磁盤組；磁盤組標(biāo)示符用于標(biāo)示大、中、小磁盤組的類別；

(A2)除設(shè)備列表外，將上述其他各表的全部表項清空；用所有設(shè)備標(biāo)示符及其對應(yīng)的設(shè)備掛載路徑初始化設(shè)備列表；

B.負(fù)載檢測步驟，包括以下過程：

(B1).以文件系統(tǒng)標(biāo)準(zhǔn)測試程序iozone測試各存儲設(shè)備的最大讀寫帶寬，然后求N次測試的平均值，作為存儲設(shè)備的最大讀寫帶寬Wi；N≥3；

(B2).使用Linux系統(tǒng)調(diào)用應(yīng)用程序接口(API)獲取各存儲設(shè)備負(fù)載信息，包括讀寫速率、容量和可用容量；

(B3).計算各存儲設(shè)備利用率因子：

設(shè)備利用率因子＝設(shè)備讀寫速率/該存儲設(shè)備的最大讀寫帶寬Wi；

(B4).對各存儲設(shè)備的設(shè)備利用率因子進(jìn)行判斷：