[發(fā)明專利]聚簇數據格網中的可擴展集中動態(tài)資源分配

有效

• 申請?zhí)枺?/td>: 201280023355.1
• 申請日: 2012-05-15
• 公開（公告）號: CN103534687B
• 公開（公告）日: 2017-04-12
• 發(fā)明（設計）人: R·H·李;G·格萊澤;M·法爾科;C·普爾蒂
• 申請（專利權）人: 甲骨文國際公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 中國國際貿易促進委員會專利商標事務所11038
• 代理人: 馮玉清

版權聲明

本專利文獻公開的一部分包含受到版權保護的內容。版權所有者不反對任何人對本專利文獻或專利公開進行傳真復印，只要它出現(xiàn)在專商局專利文件或記錄中，但是在其他情況下，保留任何所有版權。

技術領域

本發(fā)明涉及分布式計算環(huán)境中的數據高速緩存技術，更特別地，涉及在聚簇網絡的成員之間分割數據。

背景技術

分布式計算和分布式算法已經由于增大的性能和承載能力、高可用性和失效轉移（failover）、以及更快的數據訪問而廣泛流行于各種情境中。分布式計算一般涉及彼此通信以解決任務（諸如執(zhí)行應用，解決復雜的計算問題，或者向用戶提供到各種服務的接入）的多個自治計算機（也稱為節(jié)點）。每個計算機節(jié)點一般包括其自身的一個或多個處理器、存儲器、以及到其他節(jié)點的通信鏈路。計算機可以位于特定位置（例如，聚簇網絡）中，或者可以通過大面積網絡（LAN）諸如因特網而被連接。在很多情況中，分布式計算機使用消息來彼此通信以及協(xié)調任務處理和數據管理。

數據管理是分布式計算中的重要問題。在聚簇網絡的情境中，大數據集可以在聚簇的各個節(jié)點之間分割。每個節(jié)點通常儲存多個這樣的分割部（整個數據集的子部（subpart））并且對分割部執(zhí)行事務。在許多情況下，分割部包括在成員之間分配的數據的主拷貝和備份拷貝以用于失效轉移。數據以此分割方式的分配能改善易管理性、性能和信息可用性。

數據在該情境下的理想分配受到許多限制和問題的影響。例如，將數據從一個服務器移動到另一服務器需要耗費時間和/或處理器能力。出于高可用性的原因，通常優(yōu)選將數據的主拷貝和備份拷貝定位在物理不同的機器上。此外，出于性能、擴縮性和容量的原因，通常優(yōu)選在可用的儲存服務器之間在一定程度上均等地平衡數據分配，并且當從聚簇增加或去除節(jié)點時調整該分配。

在一些使用情況下，可能期望進一步的應用特定的偏好。例如，指定特定數據集應位于特定服務器上在某些情況下可能是有用的。此外，可能期望指定分配應使用運行時（runtime）反饋和輸入以將數據安置于節(jié)點成員中。根據上述內容，需要一種簡單有效的方式來解決全部或許多數據分配問題并且在分布式聚簇成員之間優(yōu)化分割部的平衡。

發(fā)明內容

根據本發(fā)明的各種實施例，在聚簇節(jié)點之間分割數據的決策部分可以被集中，而實施分割的實際機構可保留分布式算法。中央分配協(xié)調器可執(zhí)行集中邏輯或算法（策略），其生成分配計劃。分配計劃控制跨整個聚簇將分割多少數據。根據分布式算法，實施該分配計劃的工作由所有成員獨立且非同步地執(zhí)行。分配計劃可以傳輸到聚簇的所有成員，然后每個成員執(zhí)行僅涉及其本身的分割。例如，根據分布式算法，一個節(jié)點可根據分配計劃確定它需要獲得特定分割部，并且執(zhí)行必要的步驟來獲得該數據，而另一些節(jié)點可以非同步地執(zhí)行與那些特定節(jié)點相關的其他單獨分割部的傳輸。以此方式，可防止單個協(xié)同點導致的瓶頸，同時實現(xiàn)數據分配的集中管理和控制。

附圖說明

圖1是根據本發(fā)明各種實施例的在聚簇中實施的可擴展集中資源分配的圖示。

圖2是根據本發(fā)明各種實施例的由聚簇中的節(jié)點實施的分配計劃的圖示。

圖3是根據本發(fā)明各種實施例的提供集中資源分配的過程的流程圖。

圖4是根據本發(fā)明各種實施例的由分配協(xié)調器執(zhí)行的過程的流程圖。

圖5是根據本發(fā)明各種實施例的由聚簇中的節(jié)點執(zhí)行的過程的流程圖。

具體實施方式

聚簇數據格網的功能之一在于維護和實現(xiàn)數據儲存分割部在各聚簇成員（節(jié)點）之間的分配。在此情境下，分配可視為數據的主拷貝和備份拷貝二者在提供數據儲存的給定聚簇成員服務器上的安置。

跨聚簇實施數據分割的一種方式是通過實施分布式算法，其中每個儲存服務器獨立地確定是否將其擁有的分割部移動到另一服務器或者從另一服務器獲得分割部。作為示例，聚簇的數據集可最初包括256個主分割部（具有對應的256個備份分割部），其最終跨兩個聚簇成員（節(jié)點）分配，每個成員儲存128個主分割部和128個備份分割部。如果第三成員加入到聚簇，則成員將在彼此之間重新分配分割部，使得每個節(jié)點將儲存85個分割部，節(jié)點之一儲存86個。例如，新加入的成員節(jié)點能請求聚簇中的另外兩個節(jié)點中的每一個傳輸43個分割部到新節(jié)點。替選地，另外兩個節(jié)點可以確定新成員已經加入到聚簇并且獨立地傳輸分割部到新節(jié)點。