[發(fā)明專(zhuān)利]一種多云環(huán)境下異構(gòu)I/O細(xì)粒度感知的數(shù)據(jù)放置方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201911181431.1
• 申請(qǐng)日: 2019-11-27
• 公開(kāi)（公告）號(hào): CN111061430B
• 公開(kāi)（公告）日: 2021-02-19
• 發(fā)明（設(shè)計(jì)）人: 熊潤(rùn)群;羅軍舟;龔志遠(yuǎn)
• 申請(qǐng)（專(zhuān)利權(quán)）人: 東南大學(xué)
• 主分類(lèi)號(hào): G06F3/06
• 分類(lèi)號(hào): G06F3/06;G06F11/14
• 代理公司: 南京經(jīng)緯專(zhuān)利商標(biāo)代理有限公司 32200
• 代理人: 許方

本發(fā)明公開(kāi)了一種多云環(huán)境下異構(gòu)I/O細(xì)粒度感知的數(shù)據(jù)放置方法，解決多云環(huán)境下存儲(chǔ)系統(tǒng)數(shù)據(jù)可用性差和訪問(wèn)性能低的問(wèn)題。本發(fā)明分為數(shù)據(jù)I/O模式分類(lèi)與數(shù)據(jù)放置兩部分：數(shù)據(jù)I/O模式分類(lèi)部分使用決策樹(shù)算法對(duì)用戶數(shù)據(jù)根據(jù)I/O訪問(wèn)模式進(jìn)行分類(lèi)，將數(shù)據(jù)I/O模式分為讀多寫(xiě)多，讀少寫(xiě)多，讀多寫(xiě)少，讀少寫(xiě)少四種類(lèi)型，實(shí)現(xiàn)海量異構(gòu)I/O模式數(shù)據(jù)集分類(lèi)方法。數(shù)據(jù)放置部分首先針對(duì)四種I/O模式集合的數(shù)據(jù)分別制定不同的數(shù)據(jù)放置策略以優(yōu)化數(shù)據(jù)訪問(wèn)性能，其次通過(guò)數(shù)據(jù)編碼為數(shù)據(jù)添加冗余保證數(shù)據(jù)可用性，最后通過(guò)網(wǎng)絡(luò)通信模塊將各集合的數(shù)據(jù)放置在多個(gè)存儲(chǔ)服務(wù)商中。本發(fā)明在處理大量異構(gòu)I/O模式的數(shù)據(jù)時(shí)訪問(wèn)性能具有明顯優(yōu)勢(shì)。

技術(shù)領(lǐng)域

本發(fā)明涉及云存儲(chǔ)及機(jī)器學(xué)習(xí)領(lǐng)域，特別涉及多云存儲(chǔ)環(huán)境下數(shù)據(jù)放置技術(shù)，具體說(shuō)來(lái)是一種多云環(huán)境下細(xì)粒度異構(gòu)I/O感知的數(shù)據(jù)放置方法。

背景技術(shù)

隨著云存儲(chǔ)技術(shù)的成熟，出現(xiàn)了如Amazon S3，Ali OSS，Baidu BOS，MicrosoftAzure，Dropbox等面向企業(yè)或個(gè)人的云存儲(chǔ)服務(wù)。它可以很好地滿足用戶高容量、高性能、高可用、低成本的存儲(chǔ)需求。這些云存儲(chǔ)廠商通常通過(guò)動(dòng)態(tài)增減存儲(chǔ)節(jié)點(diǎn)以實(shí)現(xiàn)高容量的存儲(chǔ)；分布式的存儲(chǔ)節(jié)點(diǎn)并行讀寫(xiě)提高了訪問(wèn)性能；數(shù)據(jù)冗余機(jī)制為云存儲(chǔ)服務(wù)帶來(lái)高可用的保障；底層廉價(jià)的存儲(chǔ)設(shè)備代替?zhèn)鹘y(tǒng)高昂的RAID磁盤(pán)陣列保證了云存儲(chǔ)服務(wù)的低成本。

但是，單個(gè)存儲(chǔ)服務(wù)可能出現(xiàn)臨時(shí)性故障，從而導(dǎo)致數(shù)據(jù)可用性差的問(wèn)題。如機(jī)架故障，供電故障，網(wǎng)絡(luò)故障等都會(huì)導(dǎo)致數(shù)據(jù)無(wú)法訪問(wèn)，這導(dǎo)致了企業(yè)常常面臨數(shù)據(jù)失效的風(fēng)險(xiǎn)。并且單個(gè)存儲(chǔ)服務(wù)存在廠商鎖定(vendor lock-in)，從而導(dǎo)致數(shù)據(jù)遷移代價(jià)高的問(wèn)題。針對(duì)上述問(wèn)題，多云存儲(chǔ)的概念由此而生。多云存儲(chǔ)是指將數(shù)據(jù)放置在不同云存儲(chǔ)服務(wù)商中，因此可以在不同云存儲(chǔ)服務(wù)商之間靈活做出選擇，同時(shí)不受制于一種云服務(wù)，避免廠商鎖定問(wèn)題，并且通過(guò)數(shù)據(jù)冗余機(jī)制(副本或是糾刪碼)保障了數(shù)據(jù)的高可用性。

目前，多云存儲(chǔ)已被廣泛應(yīng)用于各大企業(yè)的存儲(chǔ)服務(wù)中，盡管取得了一定的研究成果，但其仍面臨很多挑戰(zhàn)，其中尤為重要的就是數(shù)據(jù)異構(gòu)性問(wèn)題。數(shù)據(jù)異構(gòu)性問(wèn)題是指隨著數(shù)據(jù)量的不斷增大，企業(yè)用戶需要處理的數(shù)據(jù)類(lèi)型也不盡相同。數(shù)據(jù)類(lèi)型不同，其I/O訪問(wèn)模式也不同。具體說(shuō)來(lái)包括讀多寫(xiě)多，讀少寫(xiě)多，讀多寫(xiě)少，讀少寫(xiě)少等四種I/O訪問(wèn)模式。數(shù)據(jù)的I/O訪問(wèn)模式不同，對(duì)存儲(chǔ)性能的需求也不同。對(duì)于讀少寫(xiě)少的數(shù)據(jù)而言，存儲(chǔ)成本是其考慮的主要因素；而讀多寫(xiě)少的數(shù)據(jù)更加需求讀取的性能；讀少寫(xiě)多則更依賴(lài)寫(xiě)操作的性能；最后讀多寫(xiě)多數(shù)據(jù)因?yàn)槠渥x寫(xiě)操作的頻繁性，讀寫(xiě)成本與性能需要均衡考慮。目前多云環(huán)境數(shù)據(jù)放置算法主要從成本、可用性、容錯(cuò)等方面做出決策，但大多數(shù)研究都忽略了數(shù)據(jù)自身的I/O訪問(wèn)模式存在差異。所以亟需一種全新的多云環(huán)境數(shù)據(jù)放置方法解決上述問(wèn)題，實(shí)現(xiàn)高效地、自適應(yīng)地讀寫(xiě)數(shù)據(jù)。

發(fā)明內(nèi)容

發(fā)明目的：針對(duì)以上問(wèn)題，本發(fā)明提出一種多云環(huán)境下異構(gòu)I/O細(xì)粒度感知的數(shù)據(jù)放置方法，該方法通過(guò)感知數(shù)據(jù)的I/O訪問(wèn)模式，利用決策樹(shù)實(shí)現(xiàn)I/O模式分類(lèi)，針對(duì)性的設(shè)計(jì)數(shù)據(jù)放置策略，以降低數(shù)據(jù)讀寫(xiě)的訪問(wèn)延時(shí)，提高帶寬利用率，從而優(yōu)化存儲(chǔ)系統(tǒng)整體性能。

技術(shù)方案：為實(shí)現(xiàn)本發(fā)明的目的，本發(fā)明所采用的技術(shù)方案是：

一種多云環(huán)境下異構(gòu)I/O細(xì)粒度感知的數(shù)據(jù)放置方法，包括以下步驟：

S1，收集網(wǎng)絡(luò)公開(kāi)的不同I/O模式的應(yīng)用數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)集，利用面向數(shù)據(jù)I/O模式分類(lèi)的決策樹(shù)算法訓(xùn)練得到數(shù)據(jù)I/O模式分類(lèi)模型；優(yōu)選的，所述應(yīng)用數(shù)據(jù)包括Enron郵件集，UCI機(jī)器學(xué)習(xí)數(shù)據(jù)，Youtube視頻，HDFS日志；

S2，利用讀寫(xiě)性能測(cè)試工具測(cè)試出各個(gè)云存儲(chǔ)服務(wù)商的讀寫(xiě)延時(shí)，查詢相關(guān)服務(wù)網(wǎng)站獲取云存儲(chǔ)服務(wù)商的性能數(shù)據(jù)；所述性能數(shù)據(jù)包括云存儲(chǔ)服務(wù)商可用性，存儲(chǔ)價(jià)格；優(yōu)選的，所述讀寫(xiě)性能測(cè)試工具采用fio或iozone；