[發(fā)明專利]基于分布式虛擬機管理器的分布式cache系統(tǒng)及其工作方法

有效

• 申請?zhí)枺?/td>: 200910080186.5
• 申請日: 2009-03-24
• 公開（公告）號: CN101510144A
• 公開（公告）日: 2009-08-19
• 發(fā)明（設計）人: 王若倪;李亞瓊;張玉放;孫毓忠
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F17/30
• 代理公司: 北京律誠同業(yè)知識產(chǎn)權代理有限公司
• 代理人: 祁建國;梁 揮

技術領域

本發(fā)明涉及分布式虛擬機管理器，尤其涉及基于分布式虛擬機管理器的分布式cache(高速緩沖存儲器)系統(tǒng)及其工作方法。

背景技術

隨著網(wǎng)絡技術的發(fā)展，單個機器上的內(nèi)存已經(jīng)越來越不能夠滿足請求的內(nèi)存需求，特別是對cache而言，內(nèi)存空間嚴重不足。在這種情況下，基于分布式哈希表(DHT)的cache策略成為了cache的主流，這樣，更多的用戶都可以訪問存儲于地理分布的站點上的大量信息。

DHT是從對等網(wǎng)絡(Peer-to-Peer，簡稱P2P)的研究中引入的。P2P技術把網(wǎng)絡中不同的計算機連接在一起，并可以充分利用互聯(lián)網(wǎng)和Web站點中任何地方的資源。P2P系統(tǒng)具有自治性、分布性和動態(tài)性，具有自組織、容錯性好、可擴展性強等優(yōu)點，但其存在的問題是：如何在沒有集中管理機制的情況下實現(xiàn)系統(tǒng)的自組織和自管理？

在結構化P2P系統(tǒng)解決了這個問題，每個節(jié)點只存儲特定的信息或特定信息的索引。當用戶需要在P2P系統(tǒng)中獲取信息時，他們必須知道這些信息(或索引)可能存在于哪些節(jié)點中。由于用戶預先知道應該搜索哪些節(jié)點，避免了非結構化P2P系統(tǒng)中使用的泛洪式查找，因此提高了信息搜索的效率。

但是，結構化P2P也引入了新的問題：

1、既然信息是分布存儲的，那么如何將信息分布存儲在重疊網(wǎng)中的節(jié)點上？

2、由于節(jié)點動態(tài)的加入和離開重疊網(wǎng)，如何將拓撲的變更信息通知其它節(jié)點？

分布式哈希表(DHT)的引入基本解決了上述問題，因此自從DHT協(xié)議出現(xiàn)以后，結構化P2P的應用得到了快速的發(fā)展。目前已經(jīng)有很多較為成熟的DHT協(xié)議被提出并且得到了應用。

DHT使用分布式哈希算法來解決結構化的分布式存儲問題。其主要思想是：首先，每條文件索引被表示成一個(K，V)對，K稱為關鍵字，可以是文件名(或文件的其他描述信息)的哈希值，V是實際存儲文件的節(jié)點的IP地址(或節(jié)點的其他描述信息)。所有的文件索引條目(即所有的(K，V)對)組成一張大的文件索引哈希表，只要輸入目標文件的K值，就可以從這張表中查出所有存儲該文件的節(jié)點地址。然后，再將上面的大文件哈希表分割成很多局部小塊，按照特定的規(guī)則把這些小塊的局部哈希表分布到系統(tǒng)中的所有參與節(jié)點上，使得每個節(jié)點負責維護其中的一塊。這樣，節(jié)點查詢文件時，只要把查詢報文路由到相應的節(jié)點即可(該節(jié)點維護的哈希表分塊中含有要查找的(K，V)對)。這里面有個很重要的問題，就是節(jié)點要按照一定的規(guī)則來分割整體的哈希表，進而也就決定了節(jié)點要維護特定的鄰居節(jié)點，以便路由能順利進行。這個規(guī)則因具體系統(tǒng)的不同而不同，CAN，Chord，Pastry和Tapestry都有自己的規(guī)則，也就呈現(xiàn)出不同的特性，有查找可確定性、簡單性和分布性等優(yōu)點，正成為國際上結構化P2P網(wǎng)絡研究和應用的熱點。

DHT的應用非常簡潔——API簡單到只有一項輸入和一項輸出：應用層將數(shù)據(jù)對象(文件、數(shù)據(jù)塊或索引)通過哈希算法獲得鍵值，將該鍵值提交給DHT后，返回結果就是鍵值所在節(jié)點的IP地址。

DHT的特征使得它被廣泛地運用到了cache系統(tǒng)中，即將cache文件的標識(如文件路徑等)通過哈希算法映射到對應的IP地址中，即構建從文件標識到IP地址的cache索引。

當新的cache文件查詢請求進入系統(tǒng)時，其文件查找步驟如下：

A、通過哈希算法獲得鍵值；

B、將該鍵值提交給DHT，從中得到鍵值所在節(jié)點的IP地址。如果文件在本地，則直接從本地讀取文件；如果文件不在本地，則轉入步驟C；

C、根據(jù)獲得的IP地址，請求所在機器與文件所在機器通信，取回請求所需的文件至本地；

D、將文件返回給請求。

這樣，采用DHT的cache系統(tǒng)在節(jié)點失效、遭受攻擊和突發(fā)性高負載面前都能表現(xiàn)出很好的健壯性；它具有良好的可擴展性，能以較低系統(tǒng)開銷獲得較大的系統(tǒng)規(guī)模。但是，其中也存在一些問題：

1、應用層需要到別的節(jié)點上去獲取文件信息，這就需要按照分布式哈希表來與別的節(jié)點進行通信(很可能不止一跳)，這就需要應用層維護復雜的網(wǎng)絡協(xié)議，并帶來大量的網(wǎng)絡開銷；

2、不同的節(jié)點可能分布在不同的網(wǎng)絡中，因此在信息傳輸過程中容易加速病毒的傳播。

發(fā)明內(nèi)容

為了解決上述的技術問題，提供了基于分布式虛擬機管理器的分布式cache系統(tǒng)及其工作方法，其目的在于，解決現(xiàn)有基于DHT的分布式cache系統(tǒng)中應用層需維護復雜網(wǎng)絡協(xié)議，以及通信過程中的病毒傳播問題。