[發明專利]一種異構數據源的多級分布式高速緩存

有效

• 申請號: 201210338272.3
• 申請日: 2012-09-13
• 公開（公告）號: CN102880557A
• 公開（公告）日: 2013-01-16
• 發明（設計）人: 李創
• 申請（專利權）人: 浙江金大科技有限公司
• 主分類號: G06F12/08
• 分類號: G06F12/08;G06F17/30
• 代理公司: 杭州天欣專利事務所 33209
• 代理人: 陳紅

技術領域

本發明涉及涉及一種異構數據源的多級分布式高速緩存，屬于計算機緩存技術領域。

背景技術

網絡擁塞與服務器超載是企業應用系統的普遍問題，此類問題加劇了服務提供方的資源消耗并嚴重影響著用戶的使用體驗。為企業系統增加緩存機制是解決這一問題的重要方法之一。系統緩存是位于應用程序與物理數據源之間，用于暫存數據的內存空間，其目的是為了減少直接對數據源進行訪問的次數，從而節約系統資源，提高系統效率。

當前，緩存對于大型的互聯網企業，每時每刻都有無數的用戶在使用它們提供的互聯網服務，這些服務帶來的是大量的數據吞吐量，在同一時間，并發的會有成千上萬的連接對數據庫進行操作。在這種情況下，單臺服務器或者幾臺服務器遠遠不能滿足這些數據的處理需求，單靠提升服務器性也已經改變不了該情況，所以唯一可以采用的辦法就是擴展服務器的規模。服務器規模擴展通常有兩種方法：一種是仍然采用關系型數據庫，然后通過對數據庫的垂直和水平切割將整個數據庫部署到一個集群上，這種方法的優點在于可以采用基于關系型數據庫(RDBMS)的技術，但缺點在于它是針對特定應用，實施非常困難；另外一種方法就是Google和Amazon所采用的方法，拋棄關系型數據庫，采用Key-Value形式的存儲，這樣可以極大地增強系統的可擴展性。事實上，基于Key-Value的分布式緩存就是由于Google的BigTable，Amazon的Dynamo以及Facebook的Cassandra等相關論文的發表而慢慢進入人們的視野，這些互聯網巨頭在分布式緩存上的成功實踐也使之成為了云計算的核心技術。

本發明是一個高性能的分布式緩存方法，可以減輕數據源的負載，通過緩存數據和文件對象來減少讀取數據源的次數，分層緩存能夠提高緩存響應速度，并節約系統的資源。

專利公開號102216899，公開了一種管理高速緩存數據和元數據，它提供了用于管理將存儲介質上的地址映射到高速緩存設備上的對應地址的高速緩存元數據的技術。高速緩存元數據可以存儲在分層數據結構中。只有分層結構的各層的子集可被加載到存儲器,從而減少高速緩存元數據的存儲器“足跡”并在啟動期間加速它的還原。啟動還可以通過使用高速緩存元數據來執行與重新引導相關聯的操作來進一步加速。在使用高速緩存元數據來標識該數據被存儲在高速緩存中的地址以處理對從存儲中讀取數據的請求時,所標識的地址可被存儲在存儲器中。該方法一定程度上能解決上述問題，但設計比較復雜，成本較高，不利于推廣。

發明內容

本發明所要解決的技術問題是克服現有技術中所存在的上述不足，而提供一種異構數據源的多級分布式高速緩存，異構數據源的多級分布式高速緩存是一個高性能的分布式數據或文件對象緩存系統，用以減輕數據源負載，通過緩存數據和文件對象來減少讀取數據源的次數，并解決面對大規模的數據緩存的一些問題。

本發明解決上述技術問題所采用的技術方案是：一種異構數據源的多級分布式高速緩存，其特征在于：所述的異構數據源即緩存對象，緩存對象以鍵值對的形式存在，鍵值對包括兩個數據項，鍵名和鍵值，鍵名是緩存對象的標號，為緩存項唯一標識，鍵值是緩存對象的數據，為緩存項內容；所述的緩存對象包括實體對象和非實體對象兩類。

所述的緩存按照存儲位置分為線程緩存、虛擬機緩存和群集緩存三個層次，每個層次緩存設置有開或關兩個狀態；高速緩存的查找流程如下：

①?系統在進行數據請求時，生成Cachekey，就是為緩存的對象分配一個計算機能夠識別的值，使得計算機能夠更好地處理緩存對象；

②?對于進行請求的數據，首先到線程緩存中進行查找，如果找到數據，則返回數據，結束流程；如果無法找到數據，再到虛擬機緩存中進行查找；

③?虛擬機緩存中查找線程緩存中未能找到的數據，如果找到數據，則將數據返回，同時更新線程緩存，以便下一次該數據在線程緩存中能夠找到；如果無法找到數據，再到群集緩存中進行查找；

④?群集緩存中查找虛擬機緩存中未能找到的數據，如果找到數據，則將數據返回，同時更新虛擬機緩存，以便下一次該數據在虛擬機緩存中能夠找到；如果依舊無法找到數據，則取出數據，同時更新群集緩存。

本發明所述的線程緩存是指存儲用戶與系統交互過程中對應線程的數據，當用戶對系統的每一次訪問操作，在服務器端對應一個線程進行處理。在用戶對系統進行訪問的過程中，所使用的數據往往具備高度的重復性。線程緩存存儲某個用戶再次與系統交互過程中對應線程所使用的數據，將直接提高用戶的響應速度。