[發(fā)明專利]一種面向任務(wù)級(jí)的大數(shù)據(jù)分發(fā)質(zhì)量保障方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201310062994.5
• 申請(qǐng)日: 2013-02-28
• 公開(kāi)（公告）號(hào): CN103118134A
• 公開(kāi)（公告）日: 2013-05-22
• 發(fā)明（設(shè)計(jì)）人: 陳華鈞;方聰;劉東;胡磊;楊建華;鄭國(guó)軸;吳朝暉
• 申請(qǐng)（專利權(quán)）人: 浙江大學(xué)
• 主分類號(hào): H04L29/08
• 分類號(hào): H04L29/08;H04L12/851
• 代理公司: 杭州宇信知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 33231
• 代理人: 劉芬豪

技術(shù)領(lǐng)域

本發(fā)明屬于網(wǎng)絡(luò)數(shù)據(jù)傳輸服務(wù)質(zhì)量保障技術(shù)領(lǐng)域，特別地涉及一種面向任務(wù)級(jí)的大數(shù)據(jù)分發(fā)質(zhì)量保障方法及裝置。

背景技術(shù)

隨著媒體信息的不斷豐富，作為保存信息內(nèi)容媒介的數(shù)字文件也在快速膨脹。面向頻繁的用戶文件交換需求，計(jì)算機(jī)網(wǎng)絡(luò)已經(jīng)成為了文件傳輸?shù)闹饕緩健Ｔ诤Ａ看髷?shù)據(jù)傳輸?shù)挠?jì)算機(jī)網(wǎng)絡(luò)中，由于傳統(tǒng)計(jì)算機(jī)網(wǎng)絡(luò)盡力而為的服務(wù)機(jī)制，容易導(dǎo)致以下問(wèn)題的發(fā)生：

丟失數(shù)據(jù)包：當(dāng)數(shù)據(jù)包到達(dá)一個(gè)緩沖區(qū)(buffer)已滿的路由器時(shí)，則代表此次的發(fā)送失敗，路由器會(huì)依據(jù)網(wǎng)絡(luò)的狀況決定是否丟棄一部份或者是所有的數(shù)據(jù)包，接收端的應(yīng)用程序必須請(qǐng)求重新傳送，可能造成總體傳輸嚴(yán)重的延遲；

延遲：不可預(yù)料數(shù)據(jù)包傳送到終點(diǎn)的耗時(shí)，因?yàn)閿?shù)據(jù)包會(huì)被路由緩存隊(duì)列遲滯，或需要運(yùn)用間接路由以避免阻塞；

傳輸順序出錯(cuò)：當(dāng)一組相關(guān)的數(shù)據(jù)包路由經(jīng)過(guò)因特網(wǎng)時(shí)，不同的數(shù)據(jù)包可能選擇不同的路由器，這會(huì)導(dǎo)致每個(gè)數(shù)據(jù)包有不同的延遲時(shí)間。最后數(shù)據(jù)包到達(dá)目的地的順序會(huì)和數(shù)據(jù)包從發(fā)送端發(fā)送出去的順序不一致，這個(gè)問(wèn)題必須要有特殊額外的協(xié)議負(fù)責(zé)刷新失序的數(shù)據(jù)包；

出錯(cuò)：有些時(shí)候，數(shù)據(jù)包在被運(yùn)送的途中會(huì)發(fā)生跑錯(cuò)路徑、被合并甚至是毀壞的情況，這時(shí)接收端必須能夠偵測(cè)出這些情況，并將它們判別為已遺失的數(shù)據(jù)包，再請(qǐng)求發(fā)送端再送一份同樣的數(shù)據(jù)包。

由于以上情況的頻繁發(fā)生，數(shù)據(jù)接收端的數(shù)據(jù)接收速率往往無(wú)法得到保障，且由于不同接收端之間的惡性競(jìng)爭(zhēng)，有可能導(dǎo)致某些接收端的帶寬資源被搶占。在專用大數(shù)據(jù)分發(fā)系統(tǒng)中，需要保證用戶提交分發(fā)任務(wù)的數(shù)據(jù)分發(fā)速率，從而保證分發(fā)服務(wù)的有效性和可靠性。服務(wù)質(zhì)量保障技術(shù)是解決上述問(wèn)題的途徑之一。

服務(wù)質(zhì)量(Quality?of?Service，QoS)是網(wǎng)絡(luò)的一種安全機(jī)制，是用來(lái)解決網(wǎng)絡(luò)延遲和阻塞等問(wèn)題的一種技術(shù)。在正常情況下，如果網(wǎng)絡(luò)只用于特定的無(wú)時(shí)間限制的應(yīng)用系統(tǒng)，并不需要QoS，比如Web應(yīng)用，或E-mail設(shè)置等。但是對(duì)多媒體和大數(shù)據(jù)傳輸應(yīng)用就十分必要。當(dāng)網(wǎng)絡(luò)過(guò)載或擁塞時(shí)，QoS能確保重要業(yè)務(wù)量不受延遲或丟棄，同時(shí)保證網(wǎng)絡(luò)的高效運(yùn)行。

傳統(tǒng)服務(wù)質(zhì)量保障技術(shù)采用與硬件綁定的形式，將QoS功能植入路由器等硬件設(shè)施，通過(guò)IP(Intemet?Protocol，網(wǎng)絡(luò)之間互連的協(xié)議)綁定帶寬的形式進(jìn)行質(zhì)量保證服務(wù)。隨著寬帶網(wǎng)絡(luò)的發(fā)展和應(yīng)用的增長(zhǎng)，傳統(tǒng)服務(wù)質(zhì)量保障技術(shù)存在較大的局限性，包括僅提供物理地址級(jí)別服務(wù)而無(wú)法針對(duì)應(yīng)用任務(wù)級(jí)別服務(wù)，無(wú)法動(dòng)態(tài)調(diào)整帶寬的占用、無(wú)法保障帶寬利用的優(yōu)化。同時(shí)傳統(tǒng)服務(wù)質(zhì)量保障技術(shù)高度依賴人工參與，因此在人力成本和擴(kuò)展性上都存在缺陷。

發(fā)明內(nèi)容

為解決上述問(wèn)題，本發(fā)明的目的在于針對(duì)傳統(tǒng)服務(wù)質(zhì)量保障技術(shù)無(wú)法實(shí)現(xiàn)面向任務(wù)級(jí)別的數(shù)據(jù)分發(fā)應(yīng)用需求的帶寬資源保障和動(dòng)態(tài)調(diào)整能力，提供一種能實(shí)現(xiàn)預(yù)定數(shù)據(jù)接收端的分發(fā)帶寬資源、選擇數(shù)據(jù)傳輸端為接收端服務(wù)、數(shù)據(jù)接收端分發(fā)速率的動(dòng)態(tài)調(diào)整的面向任務(wù)級(jí)別的大數(shù)據(jù)分發(fā)服務(wù)質(zhì)量保障方法。

本發(fā)明的另一目的在于提供一種面向任務(wù)級(jí)別的大數(shù)據(jù)分發(fā)服務(wù)質(zhì)量保障裝置，該裝置能夠協(xié)調(diào)數(shù)據(jù)分發(fā)任務(wù)的分發(fā)速率。

為實(shí)現(xiàn)上述目的，本發(fā)明的技術(shù)方案為：

一種面向任務(wù)級(jí)的大數(shù)據(jù)分發(fā)質(zhì)量保障方法，包括以下步驟：

步驟1，數(shù)據(jù)分發(fā)協(xié)作服務(wù)器處理創(chuàng)建分發(fā)任務(wù)請(qǐng)求，創(chuàng)建該任務(wù)并獲取其優(yōu)先級(jí)參數(shù)，其中優(yōu)先級(jí)包含高、中、低三個(gè)等級(jí)；

步驟2，數(shù)據(jù)分發(fā)協(xié)作服務(wù)器依據(jù)當(dāng)前正在運(yùn)行的分發(fā)任務(wù)對(duì)聚合帶寬進(jìn)行劃分調(diào)整；

步驟3，得出每個(gè)任務(wù)調(diào)整后分配的帶寬，數(shù)據(jù)分發(fā)協(xié)作服務(wù)器將對(duì)任務(wù)的帶寬調(diào)整指令轉(zhuǎn)發(fā)至負(fù)責(zé)該分發(fā)任務(wù)的帶寬控制服務(wù)器；

步驟4，帶寬控制服務(wù)器接收任務(wù)帶寬調(diào)整命令后，調(diào)整該任務(wù)數(shù)據(jù)接收速率至命令要求的設(shè)置帶寬；

步驟5，數(shù)據(jù)分發(fā)協(xié)作服務(wù)器將創(chuàng)建任務(wù)指令發(fā)送到該任務(wù)指定帶寬控制服務(wù)器；

步驟6，帶寬控制服務(wù)器完成數(shù)據(jù)傳輸后，向數(shù)據(jù)分發(fā)協(xié)作服務(wù)器發(fā)送任務(wù)完成指令；

步驟7，數(shù)據(jù)分發(fā)協(xié)作服務(wù)器接收到任務(wù)完成指令后，修改該任務(wù)狀態(tài)為已完成，并依據(jù)步驟2重新計(jì)算正在運(yùn)行各分發(fā)任務(wù)占用帶寬；

步驟8，數(shù)據(jù)分發(fā)協(xié)作服務(wù)器向負(fù)責(zé)各分發(fā)任務(wù)的帶寬控制服務(wù)器發(fā)送任務(wù)帶寬調(diào)整指令；

步驟9，帶寬控制服務(wù)器接收到任務(wù)帶寬調(diào)整指令后，重新調(diào)整屬于該客戶服務(wù)器的分發(fā)任務(wù)的帶寬。