[發(fā)明專(zhuān)利]一種改進(jìn)網(wǎng)格環(huán)境中數(shù)據(jù)傳輸效率的方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201010169427.6
• 申請(qǐng)日: 2010-05-11
• 公開(kāi)（公告）號(hào): CN101860479A
• 公開(kāi)（公告）日: 2010-10-13
• 發(fā)明（設(shè)計(jì)）人: 吳卿;張奇鋒;倪永軍;周興武;金恭華;趙俊杰;郁偉煒;吳鵬
• 申請(qǐng)（專(zhuān)利權(quán)）人: 杭州電子科技大學(xué)
• 主分類(lèi)號(hào): H04L12/56
• 分類(lèi)號(hào): H04L12/56;H04L29/08;H04L1/18
• 代理公司: 杭州求是專(zhuān)利事務(wù)所有限公司 33200
• 代理人: 杜軍

技術(shù)領(lǐng)域

本發(fā)明屬于網(wǎng)格計(jì)算領(lǐng)域，具體涉及一種改進(jìn)網(wǎng)格環(huán)境中數(shù)據(jù)傳輸效率的方法。

背景技術(shù)

網(wǎng)格是一個(gè)資源共享、協(xié)調(diào)工作的虛擬環(huán)境，能夠充分吸納各種資源，并可將它們轉(zhuǎn)化為一種隨處可得的、可靠的、標(biāo)準(zhǔn)的，同時(shí)還是經(jīng)濟(jì)的資源。網(wǎng)格計(jì)算很重要的作用就是有效利用各種資源，快速準(zhǔn)確地進(jìn)行大量數(shù)據(jù)計(jì)算。要把有效的時(shí)間用于實(shí)際計(jì)算上，就需要盡可能減少數(shù)據(jù)傳輸時(shí)間。

目前網(wǎng)格環(huán)境中，采用協(xié)同分配架構(gòu)，利用網(wǎng)格中存在的多個(gè)備份的并發(fā)傳輸來(lái)解決這個(gè)問(wèn)題。傳統(tǒng)協(xié)同分配架構(gòu)有三種策略來(lái)分配多個(gè)備份中的數(shù)據(jù)塊，來(lái)提高網(wǎng)絡(luò)傳輸?shù)男省７謩e是：

1)窮舉法協(xié)同分配

通過(guò)將文件大小平均分配給每個(gè)連接實(shí)現(xiàn)，不考慮各個(gè)客戶(hù)端-服務(wù)端連接的帶寬差異。例如一個(gè)客戶(hù)端與3個(gè)服務(wù)端連接，則每個(gè)服務(wù)端所分配文件大小都是1/3。

2)基于歷史法協(xié)同分配

通過(guò)預(yù)測(cè)傳輸速度比來(lái)為每個(gè)連接分配相對(duì)應(yīng)的文件大小。例如3個(gè)連接的傳輸性能比1∶2∶3，那么第一個(gè)服務(wù)端所分配文件大小就是1/6，第二個(gè)就是2/6，而第三個(gè)就是3/6。

3)保守負(fù)載均衡法協(xié)同分配

保守負(fù)載均衡法將要傳輸?shù)奈募峙涑扇舾上嗤笮〉奈募制總€(gè)連接的服務(wù)器都分配一塊文件分片進(jìn)行帶狀傳輸。如果一個(gè)服務(wù)器完成了一塊文件分片的傳輸，就為完成傳輸?shù)姆?wù)器分配另一塊文件分片直至整個(gè)文件下載結(jié)束。該協(xié)同分配流上的加載是動(dòng)態(tài)調(diào)整的，因此傳輸快的服務(wù)器會(huì)傳輸相對(duì)較多的文件大小。

基于歷史法的協(xié)同分配的關(guān)鍵在于對(duì)連接速度的預(yù)測(cè)，當(dāng)然這是理想化的，當(dāng)根據(jù)測(cè)試得到的平均傳輸率來(lái)分配各個(gè)副本的傳輸數(shù)據(jù)量時(shí)，總會(huì)存在各種風(fēng)險(xiǎn)使得傳輸?shù)乃俣韧蝗蛔兛旎蛘咦兟ｎA(yù)測(cè)結(jié)果準(zhǔn)確與否對(duì)傳輸性能影響較大，這種策略中的負(fù)載分配過(guò)程是在大量數(shù)據(jù)傳輸前完成的，并且一經(jīng)分配便不再改變。和窮舉法協(xié)同分配一樣，其最大的缺點(diǎn)是不能適應(yīng)網(wǎng)絡(luò)性能的動(dòng)態(tài)變化。

分片大小是影響保守負(fù)載均衡法算法性能優(yōu)劣關(guān)鍵性的因素。分片過(guò)大會(huì)使得協(xié)同分配的精度減小效果下降，分片長(zhǎng)度過(guò)小則又會(huì)導(dǎo)致連接頻繁地請(qǐng)求分片造成性能的降低。所以，應(yīng)當(dāng)權(quán)衡兩者選擇一個(gè)適當(dāng)?shù)姆制L(zhǎng)度。

分片大小應(yīng)滿(mǎn)足以下幾點(diǎn)：

1、由分片大小決定的數(shù)據(jù)塊單元包包數(shù)應(yīng)遠(yuǎn)遠(yuǎn)大于數(shù)據(jù)傳輸服務(wù)器的個(gè)數(shù)。

2、單元包應(yīng)盡可能小：一方面能夠使各數(shù)據(jù)傳輸服務(wù)器接近在同一時(shí)間結(jié)束，以提高服務(wù)器整體使用效率；另一方面，能更好地適應(yīng)各數(shù)據(jù)傳輸服務(wù)器傳輸性能的變化。

3、單元包應(yīng)相對(duì)大一些，以使傳送一個(gè)單元包所用的時(shí)間遠(yuǎn)遠(yuǎn)大于傳輸單元包之間的空閑時(shí)間。

分片大小選擇是難以把握的，另外，當(dāng)其中一個(gè)服務(wù)器的傳輸速度變快時(shí)，它就會(huì)比其他的服務(wù)器傳輸更多的數(shù)據(jù)量，而傳輸性能是由傳輸效率最低的那一個(gè)服務(wù)器決定的。其實(shí)在這種情況下，影響還是比較小的，有效解決這種情況的方法是動(dòng)態(tài)給這個(gè)服務(wù)器更大的數(shù)據(jù)量，以減輕其他服務(wù)器的負(fù)載。如果當(dāng)其中一個(gè)服務(wù)器的傳輸速度變慢時(shí)，它就會(huì)比其他所有的服務(wù)器都要延時(shí)完成任務(wù)。由于前面所說(shuō)的原因，恰恰是這個(gè)服務(wù)器決定整個(gè)傳輸?shù)男阅埽虼讼鄬?duì)前面一種情況它是致命的。

傳統(tǒng)的協(xié)同分配策略并沒(méi)有克服傳輸較快的服務(wù)器必須等待傳輸最慢服務(wù)器傳輸最后一塊文件的缺點(diǎn)。在大多數(shù)情況下，這將浪費(fèi)很多時(shí)間并最終影響傳輸?shù)恼w性能。

發(fā)明內(nèi)容

本發(fā)明針對(duì)現(xiàn)有技術(shù)的不足，提供一種改進(jìn)網(wǎng)格環(huán)境中數(shù)據(jù)傳輸效率的方法。

網(wǎng)格環(huán)境中網(wǎng)絡(luò)傳輸?shù)哪繕?biāo)是要使傳輸性能達(dá)到最佳，也就是要使各個(gè)副本傳輸?shù)臅r(shí)間達(dá)到最小化。要達(dá)到上述目標(biāo)的一個(gè)方法就是使各個(gè)副本一直處于傳輸數(shù)據(jù)的狀態(tài)，即每個(gè)副本從數(shù)據(jù)傳輸開(kāi)始到傳輸結(jié)束其數(shù)據(jù)傳輸是不間斷的，并且要求各個(gè)副本幾乎同時(shí)結(jié)束數(shù)據(jù)傳輸。實(shí)現(xiàn)這個(gè)方法的途徑就是根據(jù)將來(lái)副本與目的地之間的傳輸率來(lái)分配各個(gè)副本之間具體的傳輸數(shù)據(jù)量，以期待各個(gè)副本同時(shí)完成數(shù)據(jù)傳輸，獲得最佳的傳輸性能。

本發(fā)明方法為一種動(dòng)態(tài)調(diào)整策略，更進(jìn)一步來(lái)說(shuō)是一種改進(jìn)的動(dòng)態(tài)協(xié)同分配方法，它減少了等待時(shí)間，從而提高了整體傳輸性能。

本發(fā)明解決技術(shù)問(wèn)題所采取的步驟為：

步驟(1)在初始階段，給每個(gè)網(wǎng)格FTP服務(wù)器分配一塊相同大小文件分片傳輸任務(wù)，文件分片大小由帶寬和權(quán)值確定。

步驟(2)當(dāng)有服務(wù)器完成當(dāng)前文件分片傳輸任務(wù)時(shí)，該服務(wù)器又會(huì)被分配新的文件分片傳輸任務(wù)，如果傳輸失敗，則會(huì)進(jìn)行重新傳送。