[發(fā)明專利]一種面向復(fù)雜應(yīng)用場(chǎng)景的自適應(yīng)數(shù)據(jù)調(diào)度系統(tǒng)及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202210376827.7
• 申請(qǐng)日: 2022-04-12
• 公開（公告）號(hào): CN114461369B
• 公開（公告）日: 2022-08-19
• 發(fā)明（設(shè)計(jì)）人: 王英龍;張賢明;王繼彬;郭瑩;楊美紅
• 申請(qǐng)（專利權(quán)）人: 山東省計(jì)算中心（國(guó)家超級(jí)計(jì)算濟(jì)南中心）
• 主分類號(hào): G06F9/48
• 分類號(hào): G06F9/48;G06F9/50
• 代理公司: 濟(jì)南圣達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 37221
• 代理人: 李琳

1.一種面向復(fù)雜應(yīng)用場(chǎng)景的自適應(yīng)數(shù)據(jù)調(diào)度系統(tǒng)，其特征在于，包括：多個(gè)數(shù)據(jù)中心集群，每個(gè)數(shù)據(jù)中心集群中均包括元數(shù)據(jù)服務(wù)器和調(diào)度器；所述調(diào)度器包括負(fù)載均衡化處理模塊、動(dòng)態(tài)調(diào)度模塊以及數(shù)據(jù)遷移模塊；

所述負(fù)載均衡化處理模塊，包括多個(gè)負(fù)載均衡化處理子模塊，被配置為：以數(shù)據(jù)流轉(zhuǎn)遷移作業(yè)總時(shí)間最短為目標(biāo)，結(jié)合影響數(shù)據(jù)遷移作業(yè)的因素和多個(gè)負(fù)載均衡化處理子模塊，將待遷移數(shù)據(jù)源改造為待遷移分布式數(shù)據(jù)源后均勻分發(fā)到各發(fā)送節(jié)點(diǎn)上；

所述負(fù)載均衡化處理子模塊包括標(biāo)識(shí)數(shù)據(jù)記錄模塊、切片劃分模塊、發(fā)送節(jié)點(diǎn)劃分模塊、均勻映射模塊以及數(shù)據(jù)分配模塊；

所述標(biāo)識(shí)數(shù)據(jù)記錄模塊，被配置為：依次遍歷待遷移數(shù)據(jù)的數(shù)據(jù)集，選擇每個(gè)數(shù)據(jù)集的數(shù)據(jù)記錄標(biāo)識(shí)；

所述切片劃分模塊，被配置為：采用分區(qū)方法對(duì)數(shù)據(jù)記錄標(biāo)識(shí)進(jìn)行切片劃分，將待遷移數(shù)據(jù)源劃分為若干數(shù)據(jù)分塊；

所述發(fā)送節(jié)點(diǎn)劃分模塊，被配置為：根據(jù)發(fā)送節(jié)點(diǎn)的計(jì)算能力得到該發(fā)送節(jié)點(diǎn)的權(quán)重值，根據(jù)發(fā)送節(jié)點(diǎn)的權(quán)重值將發(fā)送節(jié)點(diǎn)劃分成若干個(gè)虛擬發(fā)送節(jié)點(diǎn)，每個(gè)發(fā)送節(jié)點(diǎn)將數(shù)據(jù)分塊的個(gè)數(shù)以及發(fā)送節(jié)點(diǎn)的權(quán)重值得到所對(duì)應(yīng)的虛擬發(fā)送節(jié)點(diǎn)的個(gè)數(shù)；

所述均勻映射模塊，被配置為：將數(shù)據(jù)分塊和虛擬發(fā)送節(jié)點(diǎn)按照分布式哈希算法映射到相同的范圍中，再根據(jù)虛擬發(fā)送節(jié)點(diǎn)和真實(shí)發(fā)送節(jié)點(diǎn)之間對(duì)應(yīng)關(guān)系，找到數(shù)據(jù)分塊與發(fā)送節(jié)點(diǎn)之間的映射關(guān)系；

所述數(shù)據(jù)分配模塊，被配置為：按照數(shù)據(jù)分塊到發(fā)送節(jié)點(diǎn)之間映射關(guān)系來(lái)發(fā)送數(shù)據(jù)分塊到相應(yīng)的發(fā)送節(jié)點(diǎn)中；

所述動(dòng)態(tài)調(diào)度模塊，被配置為：接收元數(shù)據(jù)服務(wù)器中所讀取的各發(fā)送節(jié)點(diǎn)上待遷移數(shù)據(jù)源的文件屬性特征，將文件的屬性特征與自定義閾值進(jìn)行比較，根據(jù)比較結(jié)果自適應(yīng)的執(zhí)行數(shù)據(jù)文件合并拆解子模塊或數(shù)據(jù)文件熱度子模塊；

所述動(dòng)態(tài)調(diào)度模塊中，將文件的屬性特征與自定義閾值進(jìn)行比較，根據(jù)比較結(jié)果自適應(yīng)的執(zhí)行數(shù)據(jù)文件合并拆解子模塊或數(shù)據(jù)文件熱度子模塊，被配置為：

將待遷移數(shù)據(jù)源文件的真實(shí)訪問(wèn)次數(shù)與自定義固定閾值進(jìn)行比較，若待遷移數(shù)據(jù)源文件的真實(shí)訪問(wèn)次數(shù)小于自定義固定閾值時(shí)，針對(duì)此部分遷移數(shù)據(jù)文件自適應(yīng)地執(zhí)行數(shù)據(jù)文件合并拆解子模塊，否則執(zhí)行數(shù)據(jù)文件熱度子模塊；

所述數(shù)據(jù)文件合并拆解子模塊，被配置為：

根據(jù)各發(fā)送節(jié)點(diǎn)的待遷移數(shù)據(jù)的文件大小和帶寬，得到傳輸文件大小值的閾值區(qū)間；

判斷發(fā)送節(jié)點(diǎn)上的待遷移數(shù)據(jù)文件大小是否在閾值區(qū)間內(nèi)；

若待遷移數(shù)據(jù)文件大小符合閾值區(qū)間，則為符合閾值區(qū)間的數(shù)據(jù)文件創(chuàng)建流轉(zhuǎn)遷移作業(yè)，并將該作業(yè)置入數(shù)據(jù)流轉(zhuǎn)遷移作業(yè)隊(duì)列中；

若待遷移數(shù)據(jù)文件大小低于最小值，則一直合并小文件直到新得到的合并文件大小符合閾值區(qū)間，為該文件創(chuàng)建流轉(zhuǎn)遷移作業(yè)，后將該作業(yè)置入數(shù)據(jù)流轉(zhuǎn)遷移作業(yè)隊(duì)列中；

若待遷移數(shù)據(jù)文件大小高于最大值，則拆解大文件直到新得到的拆解文件大小符合閾值區(qū)間，為該文件創(chuàng)建流轉(zhuǎn)遷移作業(yè)，后將該作業(yè)置入數(shù)據(jù)流轉(zhuǎn)遷移作業(yè)隊(duì)列中；

所述數(shù)據(jù)文件熱度子模塊，被配置為：

讀取發(fā)送節(jié)點(diǎn)上待遷移數(shù)據(jù)文件的真實(shí)訪問(wèn)次數(shù)值；

依次循環(huán)遍歷數(shù)據(jù)文件的元數(shù)據(jù)，根據(jù)遍歷得到的文件訪問(wèn)次數(shù)屬性標(biāo)記數(shù)據(jù)文件的優(yōu)先級(jí)，將高優(yōu)先級(jí)數(shù)據(jù)文件、中優(yōu)先級(jí)數(shù)據(jù)文件以及低優(yōu)先級(jí)數(shù)據(jù)文件依次計(jì)入對(duì)應(yīng)的優(yōu)先級(jí)作業(yè)隊(duì)列中；為每個(gè)發(fā)送節(jié)點(diǎn)分配數(shù)據(jù)流轉(zhuǎn)遷移作業(yè)任務(wù)；

所述數(shù)據(jù)遷移模塊，被配置為：將執(zhí)行完相應(yīng)調(diào)度模塊的待遷移數(shù)據(jù)文件作為任務(wù)分配給各個(gè)發(fā)送節(jié)點(diǎn)，發(fā)送節(jié)點(diǎn)將根據(jù)數(shù)據(jù)流轉(zhuǎn)遷移作業(yè)隊(duì)列中的遷移任務(wù)序列執(zhí)行數(shù)據(jù)的遷移，將數(shù)據(jù)發(fā)送到目標(biāo)集群的數(shù)據(jù)接收節(jié)點(diǎn)中。

2.一種面向復(fù)雜應(yīng)用場(chǎng)景的自適應(yīng)數(shù)據(jù)調(diào)度方法，其特征在于，包括如下步驟：

以數(shù)據(jù)流轉(zhuǎn)遷移作業(yè)的總時(shí)間最短為目標(biāo)，結(jié)合影響數(shù)據(jù)遷移作業(yè)的因素?cái)?shù)據(jù)源負(fù)載均衡策略，將待遷移數(shù)據(jù)源改造為待遷移分布式數(shù)據(jù)源后均勻分發(fā)到各發(fā)送節(jié)點(diǎn)上，包括：

依次遍歷待遷移數(shù)據(jù)的數(shù)據(jù)集，選擇每個(gè)數(shù)據(jù)集的數(shù)據(jù)記錄標(biāo)識(shí)；

采用分區(qū)方法對(duì)數(shù)據(jù)記錄標(biāo)識(shí)進(jìn)行切片劃分，將待遷移數(shù)據(jù)源劃分為若干數(shù)據(jù)分塊；

根據(jù)發(fā)送節(jié)點(diǎn)的計(jì)算能力得到該發(fā)送節(jié)點(diǎn)的權(quán)重值，根據(jù)發(fā)送節(jié)點(diǎn)的權(quán)重值將發(fā)送節(jié)點(diǎn)劃分成若干個(gè)虛擬發(fā)送節(jié)點(diǎn)，每個(gè)發(fā)送節(jié)點(diǎn)將數(shù)據(jù)分塊的個(gè)數(shù)以及發(fā)送節(jié)點(diǎn)的權(quán)重值得到所對(duì)應(yīng)的虛擬發(fā)送節(jié)點(diǎn)的個(gè)數(shù)；

將數(shù)據(jù)分塊和虛擬發(fā)送節(jié)點(diǎn)按照分布式哈希算法映射到相同的范圍中，再根據(jù)虛擬發(fā)送節(jié)點(diǎn)和真實(shí)發(fā)送節(jié)點(diǎn)之間對(duì)應(yīng)關(guān)系，找到數(shù)據(jù)分塊與發(fā)送節(jié)點(diǎn)之間的映射關(guān)系；

按照數(shù)據(jù)分塊到發(fā)送節(jié)點(diǎn)之間映射關(guān)系來(lái)發(fā)送數(shù)據(jù)分塊到相應(yīng)的發(fā)送節(jié)點(diǎn)中；

接收各發(fā)送節(jié)點(diǎn)上待遷移數(shù)據(jù)源的文件屬性特征，根據(jù)文件屬性特征和自定義閾值的比較結(jié)果，對(duì)待遷移數(shù)據(jù)文件自適應(yīng)執(zhí)行數(shù)據(jù)文件合并拆解調(diào)度策略或數(shù)據(jù)文件熱度調(diào)度策略；

所述根據(jù)文件屬性特征和自定義閾值對(duì)待遷移數(shù)據(jù)源自適應(yīng)執(zhí)行相應(yīng)的調(diào)度策略，包括：

將待遷移數(shù)據(jù)源文件的真實(shí)訪問(wèn)次數(shù)與自定義固定閾值進(jìn)行比較，若待遷移數(shù)據(jù)源文件的真實(shí)訪問(wèn)次數(shù)小于自定義固定閾值時(shí)，針對(duì)此部分遷移數(shù)據(jù)文件自適應(yīng)地執(zhí)行數(shù)據(jù)文件合并拆解策略，否則執(zhí)行數(shù)據(jù)文件熱度策略；

所述執(zhí)行數(shù)據(jù)文件合并拆解策略具體包括：

根據(jù)各發(fā)送節(jié)點(diǎn)的待遷移數(shù)據(jù)的文件大小和帶寬，得到傳輸文件大小值的閾值區(qū)間；

判斷發(fā)送節(jié)點(diǎn)上的待遷移數(shù)據(jù)文件大小是否在閾值區(qū)間內(nèi)；

若待遷移數(shù)據(jù)文件大小符合閾值區(qū)間，則為符合閾值區(qū)間的數(shù)據(jù)文件創(chuàng)建流轉(zhuǎn)遷移作業(yè)，并將該作業(yè)置入數(shù)據(jù)流轉(zhuǎn)遷移作業(yè)隊(duì)列中；

若待遷移數(shù)據(jù)文件大小低于最小值，則一直合并小文件直到新得到的合并文件大小符合閾值區(qū)間，為該文件創(chuàng)建流轉(zhuǎn)遷移作業(yè)，后將該作業(yè)置入數(shù)據(jù)流轉(zhuǎn)遷移作業(yè)隊(duì)列中；

若待遷移數(shù)據(jù)文件大小高于最大值，則拆解大文件直到新得到的拆解文件大小符合閾值區(qū)間，為該文件創(chuàng)建流轉(zhuǎn)遷移作業(yè)，后將該作業(yè)置入數(shù)據(jù)流轉(zhuǎn)遷移作業(yè)隊(duì)列中；

所述執(zhí)行數(shù)據(jù)文件熱度策略具體包括：

讀取發(fā)送節(jié)點(diǎn)上待遷移數(shù)據(jù)文件的真實(shí)訪問(wèn)次數(shù)值；

依次循環(huán)遍歷數(shù)據(jù)文件的元數(shù)據(jù)，根據(jù)遍歷得到的文件訪問(wèn)次數(shù)屬性標(biāo)記數(shù)據(jù)文件的優(yōu)先級(jí)，將高優(yōu)先級(jí)數(shù)據(jù)文件、中優(yōu)先級(jí)數(shù)據(jù)文件以及低優(yōu)先級(jí)數(shù)據(jù)文件依次計(jì)入對(duì)應(yīng)的優(yōu)先級(jí)作業(yè)隊(duì)列中；為每個(gè)發(fā)送節(jié)點(diǎn)分配數(shù)據(jù)流轉(zhuǎn)遷移作業(yè)任務(wù)；

將執(zhí)行完相應(yīng)調(diào)度策略的待遷移數(shù)據(jù)文件分配給各個(gè)發(fā)送節(jié)點(diǎn)，發(fā)送節(jié)點(diǎn)根據(jù)數(shù)據(jù)流轉(zhuǎn)遷移作業(yè)隊(duì)列所分配的遷移任務(wù)執(zhí)行數(shù)據(jù)的遷移，將數(shù)據(jù)發(fā)送到目標(biāo)集群的數(shù)據(jù)接收節(jié)點(diǎn)中。