[實(shí)用新型]基于生產(chǎn)實(shí)時(shí)的海量數(shù)據(jù)處理系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201220427256.7
• 申請(qǐng)日: 2012-08-27
• 公開（公告）號(hào): CN202795370U
• 公開（公告）日: 2013-03-13
• 發(fā)明（設(shè)計(jì)）人: 向春波;龍海軍;羅紹巍;徐兵;苗小虎;廖鵬萬;郭亮;榮譽(yù);侯準(zhǔn)
• 申請(qǐng)（專利權(quán)）人: 湖南大唐先一科技有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 南昌新天下專利商標(biāo)代理有限公司 36115
• 代理人: 胡山

技術(shù)領(lǐng)域

本實(shí)用新型涉及數(shù)據(jù)處理系統(tǒng)，具體為一種基于生產(chǎn)實(shí)時(shí)的海量數(shù)據(jù)處理系統(tǒng)。?

背景技術(shù)

地球上的信息正在以驚人的速度增長(zhǎng)，據(jù)統(tǒng)計(jì)，平均每一秒都有200萬用戶在使用搜索引擎，F(xiàn)acebook用戶每天共享的東西超過40億，微博每天處理的信息數(shù)量超過3.4億。2011年全球共有1.8ZB的數(shù)據(jù)產(chǎn)生，能夠填滿的CD數(shù)據(jù)足以從地球連到月球，然而，這僅僅是信息“爆炸”的開始，科技的進(jìn)步和應(yīng)用的普通使得信息可以產(chǎn)生于各種源頭，社交網(wǎng)絡(luò)、移動(dòng)設(shè)備、傳感器、各行各業(yè)不斷產(chǎn)生的信息，使得數(shù)據(jù)正在以每年50%的量增長(zhǎng)著。

不論是通過數(shù)據(jù)優(yōu)化現(xiàn)存的業(yè)務(wù)和管理，還是發(fā)掘新興的業(yè)務(wù)模式，大數(shù)據(jù)及新的數(shù)據(jù)技術(shù)史無前例的為企業(yè)打開了機(jī)會(huì)之門?？梢詾楣芾碚咛峁└泳珳?zhǔn)的管理決策支撐數(shù)據(jù)，我們正處在21世紀(jì)，每一個(gè)業(yè)務(wù)都在產(chǎn)生著大量的數(shù)據(jù)，每一處都可以看到數(shù)據(jù)為我們帶來的巨大價(jià)值。

在大數(shù)據(jù)時(shí)代，出現(xiàn)很多新的數(shù)據(jù)處理技術(shù)，如分布式緩存技術(shù)、NOSQL技術(shù)、云計(jì)算等等，這些技術(shù)的出現(xiàn)主要是針對(duì)實(shí)時(shí)、海量的數(shù)據(jù)處理，解決數(shù)據(jù)在“高可靠性、高可用性及一致性”的要求?；谏a(chǎn)實(shí)時(shí)的海量數(shù)據(jù)處理模型正是在當(dāng)前大數(shù)據(jù)時(shí)代的背景下，在傳統(tǒng)的基于實(shí)時(shí)數(shù)據(jù)庫(kù)及關(guān)系數(shù)據(jù)庫(kù)的基礎(chǔ)上的數(shù)據(jù)處理進(jìn)行創(chuàng)新，并根據(jù)生產(chǎn)管理企業(yè)對(duì)數(shù)據(jù)的集中、共享和服務(wù)的要求，為企業(yè)開發(fā)的一套海量生產(chǎn)實(shí)時(shí)數(shù)據(jù)的處理系統(tǒng)。該系統(tǒng)結(jié)合了當(dāng)下最先進(jìn)的海量數(shù)據(jù)處理技術(shù)，將企業(yè)對(duì)數(shù)據(jù)的管理過程（采集、處理、存儲(chǔ)、分析）進(jìn)行了整合，為企業(yè)的數(shù)據(jù)利用提供了一體化的解決方案。

目前許許多多的互聯(lián)網(wǎng)企業(yè)，如淘寶、騰訊、微軟等大型企業(yè)已廣泛采用了分布式數(shù)據(jù)處理、分布式數(shù)據(jù)緩存、云計(jì)算及NOSQL技術(shù)來應(yīng)對(duì)當(dāng)前信息時(shí)代下的海量數(shù)據(jù)處理和分析，為用戶提供更快、更精準(zhǔn)的信息服務(wù)。原有技術(shù)存在以下缺點(diǎn)：1.支持的采集目標(biāo)數(shù)據(jù)源單一，只能從固定數(shù)據(jù)源采集，并且針對(duì)每一種采集目標(biāo)源，都需要部署不同的應(yīng)用，不便于管理和維護(hù)。2.采集模塊不能確保數(shù)據(jù)的準(zhǔn)確性，并且不能提供有效的手段幫助用戶發(fā)現(xiàn)錯(cuò)誤或異常數(shù)據(jù)。3.對(duì)基礎(chǔ)網(wǎng)絡(luò)要求較高，在網(wǎng)絡(luò)不穩(wěn)定的情況下，數(shù)據(jù)傳輸不能確保數(shù)據(jù)的時(shí)序性,同時(shí)不支持實(shí)現(xiàn)離線數(shù)據(jù)緩存。4.只實(shí)現(xiàn)單純的數(shù)據(jù)采集和傳輸過程，對(duì)于數(shù)據(jù)的預(yù)處理、計(jì)算、存儲(chǔ)和共享需要額外的信息系統(tǒng)支撐，且需要部署多個(gè)不同的應(yīng)用。5.采用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)或?qū)崟r(shí)數(shù)據(jù)進(jìn)行數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)的訪問效率取決于數(shù)據(jù)庫(kù)產(chǎn)品的及硬件的處理性能，數(shù)據(jù)量越大，數(shù)據(jù)的訪問效率就越低。6.缺乏在數(shù)據(jù)分析和應(yīng)用方面的技術(shù)支撐，不能幫助用戶很好地從海量數(shù)據(jù)中發(fā)現(xiàn)并找到有價(jià)值的信息。

實(shí)用新型內(nèi)容

本實(shí)用新型所解決的技術(shù)問題在于提供一種基于生產(chǎn)實(shí)時(shí)的海量數(shù)據(jù)處理系統(tǒng)，該系統(tǒng)采用分布式數(shù)據(jù)計(jì)算技術(shù)，在數(shù)據(jù)被存儲(chǔ)前就進(jìn)行了基本的統(tǒng)計(jì)和分析，為用戶提供了海量、高效的在線統(tǒng)計(jì)分析數(shù)據(jù)。

本實(shí)用新型所解決的技術(shù)問題采用以下技術(shù)方案來實(shí)現(xiàn)：

一種基于生產(chǎn)實(shí)時(shí)的海量數(shù)據(jù)處理系統(tǒng)，包括依次連接的DCS服務(wù)器、數(shù)據(jù)調(diào)度服務(wù)器、計(jì)算服務(wù)器和結(jié)果發(fā)布服務(wù)器，所述結(jié)果發(fā)布服務(wù)器分別連接實(shí)時(shí)數(shù)據(jù)存儲(chǔ)器、關(guān)系數(shù)據(jù)存儲(chǔ)器和Memcache服務(wù)器。

與現(xiàn)有技術(shù)相比，本實(shí)用新型的有益效果是：

1.根據(jù)擁有海量生產(chǎn)過程數(shù)據(jù)的生產(chǎn)管理企業(yè)，特別是集團(tuán)化的企業(yè)進(jìn)行定制開發(fā)，適應(yīng)其行業(yè)特點(diǎn)及對(duì)數(shù)據(jù)的管理要求；

2.所支持的采集目標(biāo)源接口已覆蓋95%以上，不需要再另行開發(fā)，直接部署即可使用；

3.所采用的分布式、協(xié)同數(shù)據(jù)處理模型，能適應(yīng)不同數(shù)據(jù)規(guī)模的處理要求及應(yīng)用場(chǎng)景；

4.采用一體化數(shù)據(jù)處理解決方案，集成了采集、預(yù)處理、分析計(jì)算、存儲(chǔ)、共享等內(nèi)容，為企業(yè)提供了一站式整體解決方案；

5.在基于實(shí)時(shí)數(shù)據(jù)庫(kù)及關(guān)系數(shù)據(jù)進(jìn)行存儲(chǔ)的基礎(chǔ)上進(jìn)行創(chuàng)新，結(jié)合當(dāng)前云計(jì)算及大數(shù)據(jù)處理技術(shù)，采用最新的NOSQL及分布式緩存技術(shù)，使得數(shù)據(jù)訪問變得更容易、更快捷、更迅速。

附圖說明

圖1為本實(shí)用新型的結(jié)構(gòu)框圖。

具體實(shí)施方式

為了使本實(shí)用新型的實(shí)現(xiàn)技術(shù)手段、創(chuàng)作特征、達(dá)成目的與功效易于明白了解，下面結(jié)合具體圖示，進(jìn)一步闡述本實(shí)用新型。