[發(fā)明專利]一種多云環(huán)境下異構(gòu)I/O細粒度感知的數(shù)據(jù)放置方法

有效

• 申請?zhí)枺?/td>: 201911181431.1
• 申請日: 2019-11-27
• 公開（公告）號: CN111061430B
• 公開（公告）日: 2021-02-19
• 發(fā)明（設(shè)計）人: 熊潤群;羅軍舟;龔志遠
• 申請（專利權(quán)）人: 東南大學(xué)
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F11/14
• 代理公司: 南京經(jīng)緯專利商標(biāo)代理有限公司 32200
• 代理人: 許方

1.一種多云環(huán)境下異構(gòu)I/O細粒度感知的數(shù)據(jù)放置方法，其特征在于：包括以下步驟：

S1，收集網(wǎng)絡(luò)公開的不同I/O模式的應(yīng)用數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)集，利用面向數(shù)據(jù)I/O模式分類的決策樹算法訓(xùn)練得到數(shù)據(jù)I/O模式分類模型；

S1.1，分別計算數(shù)據(jù)集中數(shù)據(jù)特征的信息增益值，所述數(shù)據(jù)特征包括文件大小S，文件類型Ty，文件生存周期C，文件存在時間T；

S1.2，選取信息增益值最大的特征，根據(jù)該特征的值對數(shù)據(jù)集進行劃分；劃分的I/O模式標(biāo)簽包括讀多寫多，讀多寫少，讀少寫多，讀少寫少四種類型；

S1.3，對劃分出的子集遞歸調(diào)用步驟S1.1-S1.2的方法，直到劃分后的所有子集滿足終止條件；所述終止條件包括：所有子集只有一維特征或無可用特征，或者所有樣本的標(biāo)簽一致或差異比例小于預(yù)設(shè)的閾值；

S1.4，設(shè)置滿足步驟S1.3終止條件的子集為決策樹的子節(jié)點，其輸出的I/O模式為子集數(shù)量占比最大的I/O模式；

S1.5，基于S1.1-S1.4的劃分結(jié)果，生成基于決策樹的數(shù)據(jù)I/O模式分類模型；

S1.6，采集需放置數(shù)據(jù)的特征，包括文件大小，文件類型，文件生存周期，文件存在時間，調(diào)用分類模型預(yù)測其I/O訪問模式，并將預(yù)測結(jié)果放入訓(xùn)練集，重復(fù)執(zhí)行步驟S1.1-S1.5，直到獲得滿足預(yù)期的數(shù)據(jù)I/O模式分類模型；

S2，利用讀寫性能測試工具測試出各個云存儲服務(wù)商的讀寫延時，查詢相關(guān)服務(wù)網(wǎng)站獲取云存儲服務(wù)商的性能數(shù)據(jù)；所述性能數(shù)據(jù)包括云存儲服務(wù)商可用性，存儲價格；

S3，寫請求時，使用步驟S1中訓(xùn)練得到的分類模型，對需要放置的數(shù)據(jù)進行I/O模式劃分；結(jié)合步驟S2中的性能數(shù)據(jù)，使用面向混合I/O模式的數(shù)據(jù)放置策略，制定數(shù)據(jù)編碼以及數(shù)據(jù)放置方案；

S4，對每一類I/O模式的數(shù)據(jù)分別使用糾刪碼工具按照步驟S3中的數(shù)據(jù)編碼方案進行數(shù)據(jù)編碼；

S5，對步驟S4編碼后的數(shù)據(jù)按照步驟S3中的數(shù)據(jù)放置方案，使用封裝的統(tǒng)一云計算接口放置到各個云存儲服務(wù)商提供的存儲服務(wù)中；

S6，管理數(shù)據(jù)放置的信息，包括數(shù)據(jù)標(biāo)識、數(shù)據(jù)放置位置、數(shù)據(jù)編碼方式，將所有信息存入本地文件中，讀數(shù)據(jù)時，根據(jù)該文件從相應(yīng)的存儲服務(wù)中獲取數(shù)據(jù)，并通過解碼工具對數(shù)據(jù)進行解碼，獲取最終的完整數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的一種多云環(huán)境下異構(gòu)I/O細粒度感知的數(shù)據(jù)放置方法，其特征在于：所述數(shù)據(jù)特征的信息增益值，計算公式如下：

g(file，A)＝H(file)-H(file|A)

式中，g(file，A)表示特征A的信息增益值，file表示數(shù)據(jù)集，H(file)表示數(shù)據(jù)集的熵，H(file|A)表示數(shù)據(jù)集在特征A上的條件熵，p(x_i)表示I/O模式x_i出現(xiàn)的概率，n表示特征的總數(shù)，A_i表示第i個特征。

3.根據(jù)權(quán)利要求1所述的一種多云環(huán)境下異構(gòu)I/O細粒度感知的數(shù)據(jù)放置方法，其特征在于：所述步驟S3中，面向混合I/O模式的數(shù)據(jù)放置策略是對不同I/O模式的數(shù)據(jù)分別提出數(shù)據(jù)放置策略，包括數(shù)據(jù)的編碼策略和數(shù)據(jù)放置方案，即獲取糾刪碼或副本參數(shù)(n_i，k_i)，以及選擇放置的存儲服務(wù)n_i是數(shù)據(jù)分塊數(shù)，k_i是添加冗余后的塊數(shù)，表示i模式下的數(shù)據(jù)是否選擇存儲服務(wù)j，具體如下：

S3.1，使用分類模型預(yù)測數(shù)據(jù)I/O模式，將數(shù)據(jù)劃分為四類I/O模式，讀多寫多模式，讀少寫多模式，讀多寫少模式以及讀少寫少模式；

S3.2，對每一種I/O模式采用相對應(yīng)的放置策略生成放置方案，策略由目標(biāo)函數(shù)以及約束條件構(gòu)成，目標(biāo)函數(shù)即最終的優(yōu)化目標(biāo)，不同I/O模式的數(shù)據(jù)優(yōu)化目標(biāo)不同；約束條件即用戶在廠商鎖定級別，成本，可用性方面的需求；

S3.3，在I/O模式對應(yīng)的目標(biāo)函數(shù)的解空間中遍歷所有的解，篩選滿足約束條件的所有可行解；

S3.4，對步驟S3.3中的所有可行解，計算其相應(yīng)的目標(biāo)函數(shù)值，選取最優(yōu)的解，即選取最優(yōu)的(n_i，k_i)，作為相應(yīng)數(shù)據(jù)的最終數(shù)據(jù)編碼方案及數(shù)據(jù)放置方案；

S3.5，重復(fù)上述步驟S3.2-S3.4過程，生成所有數(shù)據(jù)的編碼及放置方案。