[發(fā)明專利]可縮放的容錯(cuò)元數(shù)據(jù)服務(wù)

有效

• 申請(qǐng)?zhí)枺?/td>: 201110138297.4
• 申請(qǐng)日: 2011-05-18
• 公開(kāi)（公告）號(hào): CN102253869A
• 公開(kāi)（公告）日: 2011-11-23
• 發(fā)明（設(shè)計(jì)）人: N·曾;M·葉;馮宏華;J·許;Y·曹;Y·余;宋霖
• 申請(qǐng)（專利權(quán)）人: 微軟公司
• 主分類號(hào): G06F11/14
• 分類號(hào): G06F11/14;G06F17/30
• 代理公司: 上海專利商標(biāo)事務(wù)所有限公司 31100
• 代理人: 楊潔

背景技術(shù)

元數(shù)據(jù)常常被描述為“關(guān)于數(shù)據(jù)的數(shù)據(jù)”。元數(shù)據(jù)可以采取各種形式，其范圍從簡(jiǎn)單到復(fù)雜。在一個(gè)簡(jiǎn)單的示例中，計(jì)算機(jī)文件與元數(shù)據(jù)相關(guān)聯(lián)，其可包括文件的名稱和類型、創(chuàng)建和最近修改的日期、訪問(wèn)許可等等。在更復(fù)雜的示例中，數(shù)據(jù)遵循復(fù)雜多層的結(jié)構(gòu)，其中，元數(shù)據(jù)可以包括定義數(shù)據(jù)的結(jié)構(gòu)的模式。

看待元數(shù)據(jù)的一種方式是它僅僅是一種數(shù)據(jù)。然而，在實(shí)踐中，對(duì)元數(shù)據(jù)的管理提出了與對(duì)與該元數(shù)據(jù)相關(guān)的底層數(shù)據(jù)的管理稍微不同的問(wèn)題。元數(shù)據(jù)可能比底層數(shù)據(jù)被更頻繁地訪問(wèn)。此外，元數(shù)據(jù)的訪問(wèn)失敗可以被視為相比普通數(shù)據(jù)的訪問(wèn)失敗更不能接受。

發(fā)明內(nèi)容

可以通過(guò)考慮應(yīng)用于元數(shù)據(jù)的可靠性以及吞吐量約束的系統(tǒng)來(lái)管理元數(shù)據(jù)。此外，該系統(tǒng)可以是可縮放的，以便滿足涉及要存儲(chǔ)的元數(shù)據(jù)的量以及使用元數(shù)據(jù)的速率的任意條件。

元數(shù)據(jù)可以被劃分成各個(gè)分區(qū)。每個(gè)分區(qū)被分配給節(jié)點(diǎn)或節(jié)點(diǎn)的集合。每個(gè)節(jié)點(diǎn)是對(duì)針對(duì)元數(shù)據(jù)的訪問(wèn)請(qǐng)求進(jìn)行響應(yīng)的服務(wù)器。對(duì)分區(qū)進(jìn)行服務(wù)的節(jié)點(diǎn)可以包括主節(jié)點(diǎn)且可任選地包括一個(gè)或多個(gè)次節(jié)點(diǎn)。主節(jié)點(diǎn)維持該分區(qū)的當(dāng)前真實(shí)版本。次節(jié)點(diǎn)包含該分區(qū)的副本。讀元數(shù)據(jù)的請(qǐng)求也可以被定向至主節(jié)點(diǎn)。讀元數(shù)據(jù)的請(qǐng)求也可以被定向至主節(jié)點(diǎn)。然而，如果對(duì)系統(tǒng)的要求使得使用附加節(jié)點(diǎn)來(lái)對(duì)元數(shù)據(jù)請(qǐng)求進(jìn)行服務(wù)是有意義的，則某些讀請(qǐng)求可以被定向至次節(jié)點(diǎn)，從而減輕主節(jié)點(diǎn)的一些壓力。

分區(qū)本身可以被以使得這些分區(qū)中的每一個(gè)上的負(fù)載大致相等的方式來(lái)劃分。在一個(gè)示例中，平衡負(fù)載意味著各分區(qū)包含大致相等量的元數(shù)據(jù)。然而，對(duì)不同類型的元數(shù)據(jù)的要求可以是不同的，以便使得可以通過(guò)將少量高要求元數(shù)據(jù)分配到一個(gè)分區(qū)并將大量低要求元數(shù)據(jù)分配到另一個(gè)分區(qū)來(lái)平衡跨各分區(qū)的負(fù)載。本文的主題允許動(dòng)態(tài)的負(fù)載平衡，這取決于元數(shù)據(jù)正在被如何使用。

當(dāng)實(shí)體提交訪問(wèn)元數(shù)據(jù)的請(qǐng)求時(shí)，該實(shí)體將該請(qǐng)求提交到元數(shù)據(jù)服務(wù)器。然后，該元數(shù)據(jù)服務(wù)器標(biāo)識(shí)發(fā)起請(qǐng)求的實(shí)體向其提交該請(qǐng)求的適當(dāng)節(jié)點(diǎn)。通常，向其提交請(qǐng)求的節(jié)點(diǎn)是分區(qū)的處理所請(qǐng)求的元數(shù)據(jù)的主節(jié)點(diǎn)，但在某些情形中該節(jié)點(diǎn)可以是次節(jié)點(diǎn)之一。然后，發(fā)起請(qǐng)求的實(shí)體從由元數(shù)據(jù)服務(wù)器標(biāo)識(shí)的節(jié)點(diǎn)請(qǐng)求元數(shù)據(jù)。

分區(qū)中的元數(shù)據(jù)可以通過(guò)基于日志的復(fù)制協(xié)議來(lái)更新。在這樣的協(xié)議中，對(duì)元數(shù)據(jù)的當(dāng)前狀態(tài)的任何改變(即，增加新元數(shù)據(jù)記錄的寫(xiě)或修改現(xiàn)有元數(shù)據(jù)記錄的寫(xiě))被定向至負(fù)責(zé)分區(qū)的主節(jié)點(diǎn)。在對(duì)主節(jié)點(diǎn)進(jìn)行寫(xiě)之后的某一時(shí)刻，該主節(jié)點(diǎn)將該寫(xiě)發(fā)送給次節(jié)點(diǎn)，以使得次節(jié)點(diǎn)將會(huì)具有該新信息。然而，次節(jié)點(diǎn)可以繼續(xù)提供舊信息，直到新信息已經(jīng)被提交為止。各節(jié)點(diǎn)中的每一個(gè)維持一個(gè)日志，其中日志的末尾指示哪個(gè)是當(dāng)前版本的任何數(shù)據(jù)。當(dāng)主節(jié)點(diǎn)提交該新數(shù)據(jù)時(shí)，它將該提交輸入到其日志中。然后，主節(jié)點(diǎn)通知次節(jié)點(diǎn)，次節(jié)點(diǎn)通過(guò)將該提交輸入它們各自的日志中來(lái)提交該數(shù)據(jù)。然后，主節(jié)點(diǎn)和次節(jié)點(diǎn)開(kāi)始提供新數(shù)據(jù)而不是舊數(shù)據(jù)。

提供本發(fā)明內(nèi)容是為了以簡(jiǎn)化的形式介紹將在以下詳細(xì)描述中進(jìn)一步描述的一些概念。本發(fā)明內(nèi)容并不旨在標(biāo)識(shí)出所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不旨在用于限定所要求保護(hù)的主題的范圍。

附圖說(shuō)明

圖1是可以對(duì)關(guān)于元數(shù)據(jù)的請(qǐng)求進(jìn)行響應(yīng)的示例系統(tǒng)的框圖。

圖2是其中可以將元數(shù)據(jù)存儲(chǔ)在元數(shù)據(jù)系統(tǒng)中的示例過(guò)程的流程圖。

圖3是示例的基于日志的復(fù)制方案的框圖。

圖4是訪問(wèn)元數(shù)據(jù)的示例過(guò)程的流程圖。

圖5是其中使用元數(shù)據(jù)來(lái)構(gòu)建索引的示例場(chǎng)景的框圖。

圖6是實(shí)現(xiàn)可以在為一分區(qū)進(jìn)行服務(wù)的各節(jié)點(diǎn)之間劃分工作的一種示例方式的過(guò)程的流程圖。

圖7是在節(jié)點(diǎn)故障的情況下為分區(qū)獲取新節(jié)點(diǎn)的示例過(guò)程的框圖。

圖8是分割分區(qū)以適應(yīng)該分區(qū)的增長(zhǎng)的示例過(guò)程的框圖。

圖9是可以結(jié)合本文描述的主題的實(shí)現(xiàn)來(lái)使用的示例組件的框圖。

具體實(shí)施方式

元數(shù)據(jù)通常被描述為“關(guān)于數(shù)據(jù)的數(shù)據(jù)”。存在各種類型的元數(shù)據(jù)。例如，在計(jì)算機(jī)文件系統(tǒng)中，每個(gè)文件與指示該文件的名稱和類型、創(chuàng)建日期、最后修改日期、訪問(wèn)許可等等的元數(shù)據(jù)關(guān)聯(lián)。關(guān)于文件的這一類型的信息是相對(duì)簡(jiǎn)單類型的元數(shù)據(jù)。其他類型的元數(shù)據(jù)更為復(fù)雜。例如，數(shù)據(jù)可以被組織成多層結(jié)構(gòu)，其中該結(jié)構(gòu)由模式來(lái)描述。當(dāng)數(shù)據(jù)被以此方式組織時(shí)，該數(shù)據(jù)僅可以在元數(shù)據(jù)的幫助下來(lái)解釋。因此，使用這種類型的復(fù)雜的結(jié)構(gòu)化數(shù)據(jù)的系統(tǒng)通常訪問(wèn)元數(shù)據(jù)以解釋該元數(shù)據(jù)所描述的底層數(shù)據(jù)。