[發明專利]用于集群系統的數據加載方法、裝置和集群系統

在審

• 申請號: 201410149156.6
• 申請日: 2014-04-14
• 公開（公告）號: CN104978371A
• 公開（公告）日: 2015-10-14
• 發明（設計）人: 但鏡宇;魏洪平;林丕念
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京博浩百睿知識產權代理有限責任公司 11134
• 代理人: 宋子良

技術領域

本申請涉及集群系統領域，具體而言，涉及一種用于集群系統的數據加載方法、裝置和集群系統。

背景技術

隨著互聯網、電子商務行業的快速發展，互聯網中的服務器系統通常會進行大規模的數據運算，最典型的場景就是一些諸如規則引擎、分類算法等需要大量計算的應用。為了提高數據運算的速度，通常采用集群系統作為服務器系統，其中，集群系統常常是單一主控機(single?master)+多工作機(many?workers)模式，worker實現數據的存儲、讀寫、分析處理等，master保存部分或全部元數據、實現worker的任務分配、狀態監控、負載平衡、故障監測和故障恢復等。Master常常使用heartbeat+lease或類似機制監控worker的狀態，向worker定期交換信息以監控集群系統狀態和發送控制命令。

在集群系統進行數據計算過程中，如果用于計算的規則信息數據分布在數據庫，則集群系統在計算過程中需要從該數據庫中實時讀取，數據讀取效率低，從而導致嚴重的性能問題。目前采用的方案就是使用分布式緩存解決集群系統中讀取數據庫(例如DB數據庫)數據的效率問題。

分布式緩存是在分布式環境中使用的緩存技術，常用的緩存主要是各服務器本地緩存，緩存的工作原理是當服務器系統需要讀取一個數據時，首先從服務器的緩存中查找，如果找到，則立即讀取；如果沒有找到，就用相對慢的速度從數據庫或者其他地區讀取數據后放入到緩存中，正是這樣的讀取機制使得應用對數據的讀取效率大大提高。分布式緩存為提高效能而設計，和單個系統的緩存不同的是，在集群系統中，分布式緩存分布于多臺機器，多臺機器在邏輯上使用相同的緩存數據。

如圖1所示，一個集群系統中包括一個處于主控的主控機、多個服務器和數據庫，主控機作為集群系統的管理者進行著集群系統中各個服務器的管理和控制。當需要進行數據計算時，主控機發出指令，控制各服務器更新緩存，以從數據庫中進行數據讀取緩存。

發明人發現，在高并發的場景下，集群服務器中多個服務器分別加載數據庫中的數據會帶來瞬間大量的數據庫查詢。另外，如果從緩存未查詢到數據，在將數據緩存到服務器本地時，同樣會帶來大規模數據庫的讀寫，這對集群系統的穩定性帶來極大的挑戰。在高并發的場景下，無論是從數據庫中查詢數據還是從數據庫中加載數據，都會給數據庫帶來巨大的運行壓力，降低數據庫的使用壽命。

針對現有技術中數據庫的運行壓力大導致使用壽命短的問題，目前尚未提出有效的解決方案。

發明內容

本申請的主要目的在于提供一種用于集群系統的數據加載方法、裝置和集群系統，以解決數據庫的運行壓力大導致使用壽命短問題。

為了實現上述目的，根據本申請的一個方面，提供了一種用于集群系統的數據加載方法。根據本申請的用于集群系統的數據加載方法包括：集群系統中的第一服務器讀取數據庫中的數據，并對讀取的數據進行緩存，得到緩存數據；集群系統中的第二服務器讀取緩存數據；以及集群系統中的第二服務器加載讀取到的緩存數據。

進一步地，集群系統中的第一服務器對讀取的數據進行緩存包括：集群系統中的第一服務器將讀取的數據緩存到集群系統中的第一服務器本地；或者集群系統中的第一服務器將讀取的數據緩存到緩存系統，緩存系統為用于緩存數據的系統。

進一步地，集群系統中的第二服務器為多個服務器，其中，集群系統中的第二服務器讀取緩存數據包括：多個服務器從集群系統中的第一服務器讀取緩存數據；或者多個服務器從緩存系統讀取緩存數據。

進一步地，緩存系統為nosql集群緩存系統，其中，集群系統中的第一服務器將讀取的數據緩存到緩存系統包括：集群系統中的第一服務器將讀取的數據保存到nosql集群緩存系統中，集群系統中的第二服務器讀取緩存數據包括：多個服務器從nosql集群緩存系統讀取緩存數據。

為了實現上述目的，根據本申請的一個方面，提供了一種用于集群系統的數據加載裝置。根據本申請的用于集群系統的數據加載裝置包括：緩存單元，用于使得集群系統中的第一服務器讀取數據庫中的數據，并對讀取的數據進行緩存，得到緩存數據；讀取單元，用于使得集群系統中的第二服務器讀取緩存數據；以及加載單元，用于使得集群系統中的第二服務器加載讀取到的緩存數據。

進一步地，緩存單元包括：第一緩存模塊，用于使得集群系統中的第一服務器將讀取的數據緩存到集群系統中的第一服務器本地；或者第二緩存模塊，用于使得集群系統中的第一服務器將讀取的數據緩存到緩存系統，緩存系統為用于緩存數據的系統。