[發明專利]數據處理系統以及數據處理方法

在審

• 申請號: 201210556719.4
• 申請日: 2012-12-20
• 公開（公告）號: CN103064914A
• 公開（公告）日: 2013-04-24
• 發明（設計）人: 王穎;宋懷明;狄靜舒;苗艷超;劉新春;邵宗有
• 申請（專利權）人: 曙光信息產業（北京）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F11/14
• 代理公司: 北京德恒律治知識產權代理有限公司 11409
• 代理人: 章社杲;孫征

技術領域

本發明涉及計算機數據處理技術領域，更具體地，涉及一種大規模數據環境下的數據處理系統、數據處理方法以及數據分配裝置。

背景技術

現有存儲系統采用的典型的分級存儲策略為將經常被訪問的數據存儲在內存中，并采用不同的緩存置換的算法更新存儲在內存中的數據，因為內存空間的限制，不經常被訪問的則存儲在磁盤上。這樣便于數據查詢和分析過程中快速定位，因而可以減少維護和處理的開銷。

此外，現有很多分布式存儲系統，按照一定的分布策略將海量數據分布式存儲在多個存儲節點上。然而隨著數據量的增加，節點數目不變，內存將成為更大的瓶頸，數據定位開銷也越來越大。在這樣的系統上進行數據查詢和分析，勢必使得性能隨著數據量的增加而降低。目前的解決方案便是增加存儲節點，進行擴展。擴展之后可以增加內存量，從而可以在一定程度下提高數據隨機定位的命中率。但是擴展節點必須要考慮擴展同時不能產生過多的數據遷移以及不降低數據處理的效率。

發明內容

為解決現有技術存在的問題，本發明針對海量數據處理提供了一種能夠提高數據訪問效率的數據分配裝置、數據處理系統和處理方法。

根據本發明的一方面，提供了一種數據分配裝置，包括：

數據分級單元，用于根據設置的數據分級規則對數據處理系統的多個存儲節點中存儲的數據進行分級從而得到不同級別的數據，所述不同級別的數據至少包括第一級數據和第二級數據，其中，所述多個存儲節點至少包括第一級存儲節點和第二級存儲節點；

數據遷移單元，用于在所述多個存儲節點中的一個存儲節點不為第一級存儲節點而存儲有第一級數據時，將所存儲的第一級數據遷移到第一級存儲節點；以及，在所述多個存儲節點中的一個存儲節點不為第二級存儲節點而存儲有第二級數據時，將所存儲的第二級數據遷移到第二級存儲節點。

在可選實施例中，所述數據分級單元，還用于將接收到的要加載數據根據所述數據分級規則進行分級，得到所述要加載數據的級別。所述數據分配裝置還包括數據加載單元，還用于根據所述級別將所述要加載數據加載到相應級別的存儲節點中。

在可選實施例中，所述數據遷移單元，還用于根據預先設定的時間將存儲在所述第一級存儲節點中的所述第一級數據和/或存儲在所述第二級存儲節點中的所述第二級數據備份到所述多個存儲節點中的備份存儲節點。

在可選實施例中，所述數據加載單元，還用于在根據所述級別將所述要加載數據加載到相應級別的存儲節點中的同時，將所述要加載數據存儲到所述備份存儲節點。

在可選實施例中，所述數據分級規則包括數據的訪問頻率和/或數據的重要性。

在可選實施例中，所述數據遷移單元和所述數據加載單元可以合并為一個單元。

根據本發明的另一個方面，還提供了一種數據處理系統，包括：

多個存儲節點，所述多個存儲節點至少包括第一級存儲節點和第二級存儲節點；以及，

數據分配裝置，用于執行以下功能：

根據設置的數據分級規則對所述多個存儲節點中存儲的數據進行分級從而得到不同級別的數據，所述不同級別的數據至少包括第一級數據和第二級數據；

在所述多個存儲節點中的一個存儲節點不為第一級存儲節點而存儲有第一級數據時，將所存儲的第一級數據遷移到第一級存儲節點；以及，

在所述多個存儲節點中的一個存儲節點不為第二級存儲節點而存儲有第二級數據時，將所存儲的第二級數據遷移到第二級存儲節點。

在可選實施例中，所述數據處理系統還包括數據加載裝置，用于將接收到的要加載數據根據所述數據分級規則進行分級，得到所述要加載數據的級別；以及，根據所述級別將所述要加載數據加載到相應級別的存儲節點中。

在可選實施例中，所述數據分配裝置，還用于根據預先設定的時間將存儲在所述第一級存儲節點中的所述第一級數據和/或存儲在所述第二級存儲節點中的所述第二級數據備份到所述多個存儲節點中的備份存儲節點。

在可選實施例中，所述數據加載裝置，還用于在根據所述級別將所述要加載數據加載到相應級別的存儲節點中的同時，將所述要加載數據存儲到所述備份存儲節點。

在可選實施例中，所述第一級存儲節點是在線存儲節點，以及所述第二級存儲節點是離線存儲節點。

在可選實施例中，所述述數據分級規則包括數據的訪問頻率和/或數據的重要性。

在可選實施例中，所述數據加載裝置和所述數據分配裝置可以合并為一個裝置。