[發明專利]數據管理系統及方法

在審

• 申請號: 201910595838.2
• 申請日: 2015-02-18
• 公開（公告）號: CN110297799A
• 公開（公告）日: 2019-10-01
• 發明（設計）人: 本諾特·戴奇維勒;蒂埃里·克呂安斯;馬爾辛·祖科夫斯基
• 申請（專利權）人: 斯諾弗雷克公司
• 主分類號: G06F15/16
• 分類號: G06F15/16;G06F16/13;G06F16/172;G06F16/176;G06F9/50
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 周靖;楊明釗

描述了示例數據管理系統和方法。在一個實現中，方法基于所接收的查詢識別用于處理的多個文件，并且識別可用于處理多個文件的多個執行節點。方法最初創建多個掃描集，每個掃描集包括所述多個文件的一部分，并且基于文件分配模型將每個掃描集分配給執行節點中的一個。多個掃描集由多個執行節點處理。如果所述方法確定特定的執行節點已完成處理在其分配的掃描集中的所有的文件，將未處理文件從另一個執行節點重新分配到特定的執行節點。

本申請是申請日為2015年2月18日，申請號為201580020409.2，發明名稱為“數據管理系統及方法”的申請的分案申請。

相關申請的交叉引用

本申請要求于2014年2月19日提交的標題為“Apparatus and method forenterprise data warehouse data processing on cloud infrastructure”的美國臨時申請序列第61/941,986號的權益，該申請的公開內容通過引用以其整體并入本文。

技術領域

本公開涉及管理數據的處理和其它任務的資源管理系統及方法。

背景

目前，許多現有的數據存儲和檢索系統是可用的。例如，在共享磁盤系統中，所有數據被存儲在共享的存儲設備上，其從數據集群中的所有處理節點是可訪問的。在這種類型的系統中，所有的數據變化被寫入到共享的存儲設備，以確保數據集群中的所有的處理節點訪問一致版本的數據。由于在共享磁盤系統中處理節點的數目增加，因此共享的存儲設備(以及處理節點和共享的存儲設備之間的通信鏈路)變成了減緩數據讀取和數據寫入操作的瓶頸。隨著更多的處理節點的添加，進一步地加劇這種瓶頸。因此，由于該瓶頸問題，現有的共享磁盤系統具有有限的可擴展性。

另一個現有的數據存儲和檢索系統被稱為“無共享架構”。在此架構中，數據被分布在多個處理節點上，使得每個節點在整個數據庫中存儲數據的子集。當新的處理節點被添加或移除時，無共享架構必須重新排列在多個處理節點上的數據。這種數據的重新排列可以是費時的并且對在數據重新排列期間執行的數據讀取和寫入操作具有破壞性。并且，數據對特定節點的親和度可以在對于流行數據的數據集群上創建“熱點”。此外，由于每個處理節點也執行存儲功能，因此該架構需要至少一個處理節點來存儲數據。因此，如果所有的處理節點都被移除，則無共享架構無法存儲數據。另外，由于在許多不同的處理節點上的數據的分布，無共享架構中的數據的管理是復雜的。

本文所描述的系統及方法提供了對數據存儲和數據檢索的改進的方法，其緩解了上面確定的現有系統的局限性。

發明內容

本申請還包括以下內容：

1)一種方法，包括：

基于接收的查詢識別多個文件以進行處理；

識別可用于處理所述多個文件的多個執行節點；

最初創建多個掃描集并且基于文件分配模型將所述掃描集的每一個分配給所述多個執行節點中的一個，其中每個掃描集包括所述多個文件的一部分；

通過所述多個執行節點處理所述多個掃描集；

確定特定的執行節點是否已經完成處理在其分配的掃描集中的所有的文件；以及

響應于確定特定的執行節點已經完成處理在其分配的掃描集中的所有的文件：

重新分配來自第二執行節點的未處理文件；以及

將所述未處理文件分配給所述特定的執行節點用于處理。

2)根據1)所述的方法，還包括基于每個文件的大小布置每個掃描集中的文件。

3)根據1)所述的方法，還包括布置每個掃描集中的文件以優先化由所分配的執行節點緩存的文件。