[發(fā)明專利]用于數(shù)據(jù)共享平臺的構(gòu)建緩沖的方法

有效

• 申請?zhí)枺?/td>: 200910025863.3
• 申請日: 2009-03-11
• 公開（公告）號: CN101499095A
• 公開（公告）日: 2009-08-05
• 發(fā)明（設(shè)計）人: 萬星明;劉樹權(quán);沈鵬程;張峰;余志剛;卞國震;蘭清
• 申請（專利權(quán)）人: 南京聯(lián)創(chuàng)科技股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;H04L12/56
• 代理公司: 南京天翼專利代理有限責(zé)任公司
• 代理人: 黃明哲

技術(shù)領(lǐng)域

本發(fā)明涉及計算機技術(shù)領(lǐng)域的數(shù)據(jù)緩沖技術(shù)，應(yīng)用于數(shù)據(jù)共享平臺對外服務(wù)的提供，用于解決各部門對于調(diào)用操作型數(shù)據(jù)存儲ODS對外服務(wù)的性能要求，為一種用于數(shù)據(jù)共享平臺的構(gòu)建緩沖的方法。

背景技術(shù)

操作型數(shù)據(jù)存儲ODS(Operational?Data?Store)是數(shù)據(jù)倉庫體系結(jié)構(gòu)中的一個可選部分，ODS具備數(shù)據(jù)倉庫的部分特征和聯(lián)機事務(wù)處理OLTP系統(tǒng)的部分特征，它是面向主題的、集成的、當(dāng)前或接近當(dāng)前的、不斷變化的數(shù)據(jù)。

目前現(xiàn)有的數(shù)據(jù)共享服務(wù)的緩沖構(gòu)建都是單節(jié)點、按單主機緩沖，一般都在數(shù)據(jù)提供服務(wù)的5個節(jié)點的第4個節(jié)點提供緩沖，也就是在數(shù)據(jù)庫訪問層提供緩沖，這只能滿足少量服務(wù)調(diào)用，而無法滿足多用戶并發(fā)和大數(shù)據(jù)量調(diào)用性能的要求，這樣在數(shù)據(jù)共享平臺下，現(xiàn)有的緩沖構(gòu)建就不能滿足各部門對于調(diào)用操作型數(shù)據(jù)存儲ODS對外服務(wù)的性能要求。

發(fā)明內(nèi)容

本發(fā)明要解決的問題是：傳統(tǒng)緩沖無法滿足多用戶并發(fā)和大數(shù)據(jù)量調(diào)用性能的要求，針對各部門對于調(diào)用ODS對外服務(wù)的性能要求，提出一種基于SOA架構(gòu)的構(gòu)建緩沖的方法。

本發(fā)明的技術(shù)方案為：用于數(shù)據(jù)共享平臺的構(gòu)建緩沖的方法，建立基于SOA的系統(tǒng)架構(gòu)，系統(tǒng)架構(gòu)由Apache前端、Java應(yīng)用程序模塊、SOA服務(wù)器和數(shù)據(jù)庫組成，Apache前端連接Java應(yīng)用程序模塊，Java應(yīng)用程序模塊遠(yuǎn)程連接SOA服務(wù)器，SOA服務(wù)器連接數(shù)據(jù)庫，然后按以下步驟進(jìn)行緩沖：

A.采用分布式的緩沖方案，對架構(gòu)中的四個模塊和SOA服務(wù)器與數(shù)據(jù)庫間的連接分別進(jìn)行緩沖；

B.對四個模塊和SOA服務(wù)器與數(shù)據(jù)庫間的連接實施緩沖數(shù)據(jù)策略，分析每個數(shù)據(jù)服務(wù)，統(tǒng)計出不同數(shù)據(jù)重復(fù)利用的頻率，按照數(shù)據(jù)高低進(jìn)行排序，優(yōu)先選擇一部分重復(fù)頻率高的資源；

C.針對緩沖對象選擇數(shù)據(jù)資源顆粒度，依據(jù)資源的特點考慮，對業(yè)務(wù)較復(fù)雜的聚集對象選擇小顆粒度的緩沖，相反就選擇大顆粒度的緩沖；

D.針對業(yè)務(wù)邏輯實施資源過期策略，緩沖在各緩存中的數(shù)據(jù)對象，采用針對業(yè)務(wù)的過期策略，分配不同的過期時間；

E.對每臺服務(wù)器的數(shù)據(jù)量的評估：對每臺服務(wù)器緩沖多少數(shù)據(jù)、緩沖對象的大小、資源活躍度進(jìn)行評估；對于遠(yuǎn)程緩沖，依據(jù)內(nèi)存、緩沖對象的大小、壓縮率、KEY分布的均衡度等進(jìn)行評估；

F.網(wǎng)絡(luò)流量評估：在遠(yuǎn)程環(huán)境下必須評估網(wǎng)絡(luò)流量，評估公式為：緩沖對象尺寸×每秒訪問次數(shù)；

G.進(jìn)行資源序列化。

本發(fā)明分布式的緩沖方案為：在Apache前端采用Apache相關(guān)的緩沖擴展；在其它三個模塊和SOA服務(wù)器與數(shù)據(jù)庫間的連接使用分布式緩存系統(tǒng)MemCached：對于Java應(yīng)用程序模塊，緩存Web頁面，業(yè)務(wù)數(shù)據(jù)對象；對于SOA服務(wù)器，緩存業(yè)務(wù)數(shù)據(jù)對象，服務(wù)相關(guān)配置信息，數(shù)據(jù)路由規(guī)則；對于SOA服務(wù)器與數(shù)據(jù)庫間的連接，實現(xiàn)通用數(shù)據(jù)反問層，實現(xiàn)統(tǒng)一數(shù)據(jù)源查詢，業(yè)務(wù)數(shù)據(jù)對象在這里也進(jìn)行緩存；對于數(shù)據(jù)庫模塊，增加服務(wù)器內(nèi)存，調(diào)整數(shù)據(jù)庫緩沖，調(diào)整數(shù)據(jù)庫本身的特性。

本發(fā)明對于Java應(yīng)用程序模塊和SOA服務(wù)器，在Java應(yīng)用程序模塊設(shè)置本地緩沖集群，完全緩沖整個對象關(guān)系，使用分布式緩存系統(tǒng)MemCached實現(xiàn)，SOA服務(wù)器采用緩沖群，設(shè)置多個緩存，即Cache+Cache集群，分別完全緩沖各個對象。

本發(fā)明資源序列化為Java領(lǐng)域的資源序列化，包括Java序列化、資源對象內(nèi)部、資源對象內(nèi)部的數(shù)據(jù)屬性和對象序列化。

本發(fā)明針對數(shù)據(jù)共享服務(wù)提供的5個節(jié)點的特性，相應(yīng)提供不通策略的緩沖，比如在web層，緩沖web頁面，在SOA層和java程序?qū)犹峁〤ache集群，緩沖java序列對象；在整體數(shù)據(jù)共享平臺上，采用了分布式緩沖，可以有效的使緩沖服務(wù)器和應(yīng)用服務(wù)器分離，降低了應(yīng)用服務(wù)器負(fù)載。本發(fā)明每臺服務(wù)器的緩存都有高效的數(shù)據(jù)量和網(wǎng)絡(luò)流量等評估，便于資源序列化。本發(fā)明在兩臺緩存分布式服務(wù)器的情況下，能夠?qū)eb訪問性能提高100％訪問速度；能夠?qū)DS對外服務(wù)并發(fā)性能提高2-3倍。

附圖說明

圖1為本發(fā)明建立的基于SOA的系統(tǒng)架構(gòu)。

圖2為本發(fā)明分布式緩沖方案的實施示意圖。

具體實施方式

如圖1，數(shù)據(jù)共享服務(wù)提供了1-5五個節(jié)點，本發(fā)明首先建立基于SOA的系統(tǒng)架構(gòu)，系統(tǒng)架構(gòu)由Apache前端、Java應(yīng)用程序模塊、SOA服務(wù)器和數(shù)據(jù)庫組成，Apache前端連接Java應(yīng)用程序模塊，Java應(yīng)用程序模塊遠(yuǎn)程連接SOA服務(wù)器，SOA服務(wù)器連接數(shù)據(jù)庫。