[發(fā)明專利]分布式系統(tǒng)的調(diào)度方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 200810239118.4
• 申請日: 2008-12-09
• 公開（公告）號: CN101753608A
• 公開（公告）日: 2010-06-23
• 發(fā)明（設(shè)計）人: 錢嶺;郭磊濤;趙鵬;徐萌;羅治國
• 申請（專利權(quán)）人: 中國移動通信集團公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L29/06
• 代理公司: 北京中譽威圣知識產(chǎn)權(quán)代理有限公司 11279
• 代理人: 王正茂;張靜軒

技術(shù)領(lǐng)域

本發(fā)明涉及計算機領(lǐng)域的數(shù)據(jù)業(yè)務(wù)技術(shù)，具體地，涉及一種分布 式系統(tǒng)的調(diào)度方法及系統(tǒng)。

背景技術(shù)

任務(wù)調(diào)度是網(wǎng)格計算(Grid?Computing)、大型分布式數(shù)據(jù)庫系 統(tǒng)(Distributed?Database?System)、以及云計算(Cloud?Computing) 系統(tǒng)的一個關(guān)鍵問題。在傳統(tǒng)的網(wǎng)格計算中，任務(wù)調(diào)度的成本較高， 調(diào)度策略是將數(shù)據(jù)遷移到任務(wù)所在計算節(jié)點。在分布式數(shù)據(jù)庫系統(tǒng)和 云計算系統(tǒng)中，數(shù)據(jù)遷移的成本較高，多數(shù)采用將任務(wù)分配到數(shù)據(jù)所 在節(jié)點的調(diào)度策略。

分布式環(huán)境系統(tǒng)，例如云計算系統(tǒng)的特點是：海量數(shù)據(jù)分布式存 儲和訪問；用于數(shù)據(jù)一次存儲，多次查詢的場合。圖1為現(xiàn)有技術(shù)中 云計算系統(tǒng)的分層結(jié)構(gòu)示意圖，如圖1所示，云計算系統(tǒng)一般分三個 層次：分布式文件存統(tǒng)、分布式數(shù)據(jù)系統(tǒng)、分布式任務(wù)調(diào)度系統(tǒng)。其 中，分布式數(shù)據(jù)庫系統(tǒng)將數(shù)據(jù)表分割為小表(Tablet)，每個小表將 表中不同的列族(Column?Family)保存為一個文件，一個小表可能 對應(yīng)一個或多個文件，小表相當于對應(yīng)的文件的索引，這些文件被冗 余存放在下層的分布式文件系統(tǒng)上。圖1描述了一個包含兩個文件列 族(CF1，CF2)，被分成兩個小表(小表-1和小表-2)存儲，每個 文件被存儲兩份的視圖，其中一份為活躍數(shù)據(jù)，另一份為非活躍數(shù)據(jù)。

圖2為現(xiàn)有技術(shù)中分布式環(huán)境的任務(wù)調(diào)度系統(tǒng)示意圖，如圖2所 示，每個節(jié)點上都運行了分布式任務(wù)系統(tǒng)、分布式數(shù)據(jù)系統(tǒng)和分布式 文件系統(tǒng)，可以提供對應(yīng)的任務(wù)和數(shù)據(jù)(文件、小表等)服務(wù)，由任 務(wù)調(diào)度器(分配任務(wù)到負荷低的節(jié)點)、小表調(diào)度器(分配數(shù)據(jù)到數(shù) 據(jù)數(shù)目較少的隊列)、文件調(diào)度器(按照節(jié)點存儲能力等參數(shù)分配文 件)分別進行對任務(wù)、小表、文件的調(diào)度。

圖2為具有兩個任務(wù)(Job1和Job2)的分布式系統(tǒng)，其中Job1 使用“Tablet-1”作為輸入，出于優(yōu)化的目的，Job1被調(diào)度到“Tablet-1” 所在的數(shù)據(jù)節(jié)點1上，但“Tablet-1”的物理文件可能被存儲到不同 的節(jié)點上。如果將Job1調(diào)度到節(jié)點2上，則Job1和Tablet-1數(shù)據(jù)服 務(wù)器不在一起，造成的延遲和網(wǎng)絡(luò)開銷更大。系統(tǒng)中還存在兩個冗余 節(jié)點3和節(jié)點4，保存了非活躍的文件，但是并沒有任務(wù)執(zhí)行。

在實現(xiàn)本發(fā)明過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)中的分布式調(diào)度方式 至少存在如下問題：

1.資源浪費

現(xiàn)有技術(shù)中未利用海量數(shù)據(jù)的應(yīng)用讀寫特征提高數(shù)據(jù)訪問性能， 造成了資源的大量浪費。

2.任務(wù)處理效率低、速度慢

現(xiàn)有技術(shù)中，如圖2所示，為了保證系統(tǒng)能夠同時支持讀寫操作， 每個小表(Tablet)只交給一個數(shù)據(jù)服務(wù)器來處理，所有針對這個小 表的操作都必須由這一個數(shù)據(jù)服務(wù)器處理，并發(fā)能力有限，效率低， 速度慢。

3.增加網(wǎng)絡(luò)開銷

現(xiàn)有方案在數(shù)據(jù)量較少，任務(wù)調(diào)度不頻繁的情況下可以進行任務(wù) 調(diào)度。如圖2所示，“Tablet-1”的數(shù)據(jù)文件可能被分配到不同的節(jié) 點，雖然訪問透明，但是在海量數(shù)據(jù)的分布式存儲系統(tǒng)中，數(shù)據(jù)量較 多、調(diào)度復(fù)雜的情況下，訪問異地文件會造成較大的數(shù)據(jù)流量、增加 網(wǎng)絡(luò)開銷。

發(fā)明內(nèi)容

本發(fā)明的第一目的是針對現(xiàn)有技術(shù)的分布式調(diào)度方式中資源浪 費等缺陷，提出一種分布式系統(tǒng)的調(diào)度方法，以避免資源浪費。

本發(fā)明的第二目的是針對現(xiàn)有技術(shù)的分布式調(diào)度方式中資源浪 費等缺陷，提出一種分布式環(huán)境的調(diào)度系統(tǒng)，以合理利用資源。

為實現(xiàn)上述第一目的，根據(jù)本發(fā)明的一個方面，提供了一種分布 式系統(tǒng)的調(diào)度方法。

根據(jù)本發(fā)明實施例的分布式環(huán)境的調(diào)度方法，包括：

步驟A：數(shù)據(jù)調(diào)度器接收調(diào)度請求，該調(diào)度請求包括對數(shù)據(jù)的讀 取操作；數(shù)據(jù)保存在分布式系統(tǒng)中的至少一個提供數(shù)據(jù)服務(wù)的實體 上；

步驟B：該數(shù)據(jù)調(diào)度器確定該調(diào)度請求對應(yīng)的各數(shù)據(jù)服務(wù)的狀態(tài)， 并在各數(shù)據(jù)服務(wù)為空閑或讀取狀態(tài)時，發(fā)送同意對各數(shù)據(jù)服務(wù)進行讀 取操作的調(diào)度響應(yīng)；各數(shù)據(jù)服務(wù)為至少一個相同的數(shù)據(jù)服務(wù)。

上述方案中，在步驟A之前，還可以包括：數(shù)據(jù)調(diào)度器確定并保 存各數(shù)據(jù)服務(wù)的狀態(tài)信息，該狀態(tài)信息包括：讀取、寫入、空閑。