[發明專利]分布式數據存儲和接入系統

有效

• 申請號: 200980133058.0
• 申請日: 2009-07-09
• 公開（公告）號: CN102204267A
• 公開（公告）日: 2011-09-28
• 發明（設計）人: 戴維·C·卡弗爾;布蘭科·J·格羅瓦克
• 申請（專利權）人: 叢林網絡公司
• 主分類號: H04N21/238
• 分類號: H04N21/238;H04N21/25
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 余剛;吳孟秋

技術領域

本發明涉及分布式數據存儲和接入系統。

背景技術

基于分布式網絡的數據存儲(例如，通過互聯網可以接入)具有多種應用。一種應用是視頻存取。

在過去的幾十年里，隨著家用高速互聯網業務日臻成熟，在線視頻流越來越受互聯網用戶的歡迎。例如當傳統的視頻傳輸系統(如有線電視系統)不再滿足客戶日益增長的對于便于讀取即時傳送的需求時，電影消費者可能會立刻轉向能夠提供這種服務的在線視頻存儲。但是，實際上建立一個庫容量與傳統視頻租賃店相當的互聯網存儲系統用來以合理的價格向消費者提供可靠的電影下載服務并非易事。下面的實例說明了這種想法背后存在的一些難題。

考慮這樣一個例子，一個電影下載服務系統，其中有20K部電影，每部片長2小時，編碼率為2.5Mbps，配置為可同時服務15K個會話。在過去，這個系統可被看做一個裝備精良的大型視頻租賃店。(作為對比，NetFlix目前有大約超過70K部影視作品。)按照每部電影占用約2.25GB存儲空間(即2hr*2.5Mb/s*60sec*60min/8)，存儲20K部電影所需的毛存儲量為45TB。另外，如果使用了鏡像還原，存儲整個電影庫所需的最小容量為90TB，該系統可用大約96塊1TB的硬盤按照例如4臺服務器每臺24塊硬盤進行構建。

在上面的示例系統中，進行15K并行會話所需的接入帶寬為37.5Gbps，在假設各個硬盤上的負載相等的情況下需要96塊硬盤中的每一塊都能提供大約400Mbps的帶寬。但是，這樣的接入速率超出了一般存儲系統的常規實用速率。在典型的工作負載條件下，傳統的存儲系統可提供平均每個磁盤50Mbps的帶寬。即使是調整過的已被配置為能夠提供超常的高達150～200Mbps帶寬的多媒體存儲服務器也無法滿足示例系統的要求。而且，獲得理想接入帶寬的難度隨著示例系統的規模而逐漸增加。

一些為這種應用確定系統配置的方法按照動態分布實時資源配置可以從本質上解決所討論的問題，但對于大型系統，該問題尤其難以解決，因為通常這類問題的組合復雜度隨著系統規模擴大而增加。簡而言之，動態分布實時資源配置和調度問題本質上可以以NP完全問題(NP?Complete?problem)為特征，這意味著在一個可追蹤到的時間內不存在可計算出的確定性的解，換句話說，這些解在空間和/或時間上具有組合復雜度。傳統的解決NP完全問題的方法通常是以某種方式約束該問題，從而使得受約束的問題能夠服從確定性的解。但是，這種受約束的解會因種種原因而失效。例如，被約束的問題的解無法真實反映原始問題的解。而且當這個確定性的解達碰到問題空間的邊界條件時，這個問題又會變成組合問題，有時導致這個確定性的解產生災難性的結果。

發明內容

通常，一方面本發明表征了一種用于數據存儲和接入的分布式系統，該系統包含存儲平臺和接入平臺，該存儲平臺至少具有第一存儲部件，該接入平臺具有一個或多個接入部件，每個接入部件都與多個接入服務中的至少一個相關聯，這些接入服務包括：管理服務，用于接收第一用戶發起的服務請求以及識別該服務請求的特征，該服務請求與內容首項有關聯；內容管理服務，用于至少部分基于服務請求的特征確定與第一存儲部件相關聯的要執行的數據傳輸操作的詳細說明；以及目錄服務，用來維護與內容首項相關聯的信息。

本發明的其它方面還包括如下特征中的一項或幾項。

數據傳輸操作的詳細說明可包括數據傳輸操作類型標識符以及第一存儲器的元素的永久的完全解析的標識符。

服務請求可包含上傳請求。

內容管理服務可包括上傳服務，該服務用于響應于上傳請求，分配第一存儲部件的資源，從而確定局部資源配置安排，然后根據局部資源配置安排完成完整資源配置安排。數據傳輸操作的詳細說明可包含完整資源配置安排的描述。

上傳請求可包含描述內容首項的一個或多個操作對象的特征的第一屬性集，上傳服務至少部分基于第一組屬性的一個或多個來確定完整資源配置安排。

上傳請求還可包括內容首項，數據傳輸操作可包括根據完整資源分配安排將內容首項的元素存儲到第一存儲部件內所分配資源的相應元素中。

目錄服務可維護將內容首項的元素存儲到第一存儲部件內的分配資源的相應元素中的結果的描述。

存儲內容首項的元素的結果的描述使得能夠利用專一性為進一步的接入操作在第一存儲部件內所分配資源中定位內容首項。

服務請求可包含下載請求。

內容管理服務可包括下載服務，用于響應于下載請求，通過與目錄服務交互，識別與內容首項相關聯的現有資源分配安排。數據傳輸操作可包含下載操作。