[發(fā)明專利]基于SDN的公路大數(shù)據(jù)云平臺的資源優(yōu)化方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201910390663.1
• 申請日: 2019-05-10
• 公開（公告）號: CN110198277A
• 公開（公告）日: 2019-09-03
• 發(fā)明（設(shè)計）人: 鄒云華;林杰;沈偉;成琛;萬里;姜阿娟
• 申請（專利權(quán)）人: 湖北交投智能檢測股份有限公司
• 主分類號: H04L12/851
• 分類號: H04L12/851;H04L29/08
• 代理公司: 武漢智權(quán)專利代理事務(wù)所(特殊普通合伙) 42225
• 代理人: 沈林華

1.一種基于SDN的公路大數(shù)據(jù)平臺的資源優(yōu)化方法，其特征在于，包括步驟：

根據(jù)Reduce任務(wù)的大小和執(zhí)行節(jié)點(diǎn)的計算資源剩余量，計算Reduce任務(wù)占用的計算資源使用代價，此處的執(zhí)行節(jié)點(diǎn)為執(zhí)行該Reduce任務(wù)的節(jié)點(diǎn)；

根據(jù)其他節(jié)點(diǎn)到該執(zhí)行節(jié)點(diǎn)的所有鏈路的可用寬帶的平均值和預(yù)設(shè)的帶寬資源使用單價，計算Reduce任務(wù)的網(wǎng)絡(luò)資源使用代價；

根據(jù)所述Reduce任務(wù)占用的計算資源使用代價和網(wǎng)絡(luò)資源使用代價之和得到資源使用總代價，找出使所述資源使用總代價最小的鏈路路徑；

SDN架構(gòu)中的控制器根據(jù)找出的最小鏈路路徑來對公路大數(shù)據(jù)進(jìn)行資源分配和下發(fā)。

2.如權(quán)利要求1所述的基于SDN的公路大數(shù)據(jù)平臺的資源優(yōu)化方法，其特征在于，所述計算Reduce任務(wù)占用的計算資源使用代價的計算公式為：

式中，s_k為第Reduce任務(wù)占用的計算資源使用代價，d_k為第k個Reduce任務(wù)大小，a為執(zhí)行節(jié)點(diǎn)的計算資源剩余量。

3.如權(quán)利要求1所述的基于SDN的公路大數(shù)據(jù)平臺的資源優(yōu)化方法，其特征在于，所述計算Reduce任務(wù)的網(wǎng)絡(luò)資源使用代價的計算公式為：

式中，為該最短路徑Path＝{l₁,l₂,···,l_n}中所有鏈路的可用帶寬的平均值，為鏈路l_i的可用帶寬，n為鏈路的總數(shù)量，b為預(yù)設(shè)的帶寬資源使用單價。

4.如權(quán)利要求1所述的基于SDN的公路大數(shù)據(jù)平臺的資源優(yōu)化方法，其特征在于，得到資源使用總代價的計算公式為：

式中，α為計算資源使用代價的系數(shù)，表征計算資源使用代價所占的比重，β為帶寬資源使用代價的系數(shù)，表征帶寬資源使用代價所占的比重，M為MAP任務(wù)的個數(shù)，表示位于節(jié)點(diǎn)u的第i個Map任務(wù)產(chǎn)生的中間結(jié)果數(shù)據(jù)量，q_k為根據(jù)劃分函數(shù)推測得到的Map節(jié)點(diǎn)上第k個key值對應(yīng)的中間數(shù)據(jù)量占產(chǎn)生的中間數(shù)據(jù)總量的比例，為已知的將節(jié)點(diǎn)u的第i個Map任務(wù)產(chǎn)生的中間結(jié)果數(shù)據(jù)量傳輸?shù)綀?zhí)行第k個Reduce任務(wù)的節(jié)點(diǎn)v的傳輸帶寬，為將節(jié)點(diǎn)u的第i個Map任務(wù)產(chǎn)生的中間結(jié)果數(shù)據(jù)量傳輸?shù)綀?zhí)行第k個Reduce任務(wù)的節(jié)點(diǎn)v的網(wǎng)絡(luò)資源在單位時間的使用代價，s_k為第k個Reduce任務(wù)占用的計算資源使用代價。

5.如權(quán)利要求4所述的基于SDN的公路大數(shù)據(jù)平臺的資源優(yōu)化方法，其特征在于，還包括步驟：對資源使用總代價的計算公式進(jìn)行歸一化處理。

6.一種基于SDN的公路大數(shù)據(jù)平臺的資源優(yōu)化系統(tǒng)，其特征在于，包括：

第一計算單元，其用于根據(jù)Reduce任務(wù)的大小和執(zhí)行節(jié)點(diǎn)的計算資源剩余量，計算Reduce任務(wù)占用的計算資源使用代價，此處的執(zhí)行節(jié)點(diǎn)為執(zhí)行該Reduce任務(wù)的節(jié)點(diǎn)；

第二計算單元，其用于根據(jù)其他節(jié)點(diǎn)到該執(zhí)行節(jié)點(diǎn)的所有鏈路的可用寬帶的平均值和預(yù)設(shè)的帶寬資源使用單價，計算Reduce任務(wù)的網(wǎng)絡(luò)資源使用代價；

第三計算單元，其用于根據(jù)所述Reduce任務(wù)占用的計算資源使用代價和網(wǎng)絡(luò)資源使用代價之和得到資源使用總代價，找出使所述資源使用總代價最小的鏈路路徑；

控制器，所述控制器位于SDN架構(gòu)中，且所述控制器用于根據(jù)找出的最小鏈路路徑來對公路大數(shù)據(jù)進(jìn)行資源分配和下發(fā)。

7.如權(quán)利要求6所述的基于SDN的公路大數(shù)據(jù)平臺的資源優(yōu)化系統(tǒng)，其特征在于，所述計算Reduce任務(wù)占用的計算資源使用代價的計算公式為：

式中，s_k為第Reduce任務(wù)占用的計算資源使用代價，d_k為第k個Reduce任務(wù)大小，a為執(zhí)行節(jié)點(diǎn)的計算資源剩余量。