[發(fā)明專利]基于云服務(wù)數(shù)據(jù)特征的大規(guī)模數(shù)據(jù)分割系統(tǒng)及分割方法

有效

• 申請?zhí)枺?/td>: 201310315980.X
• 申請日: 2013-07-25
• 公開（公告）號: CN103607418A
• 公開（公告）日: 2014-02-26
• 發(fā)明（設(shè)計(jì)）人: 許曉魯;鐘冰
• 申請（專利權(quán)）人: 上海和辰信息技術(shù)有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F17/30
• 代理公司: 上海漢聲知識產(chǎn)權(quán)代理有限公司 31236
• 代理人: 胡晶

技術(shù)領(lǐng)域

本發(fā)明涉及一種云計(jì)算領(lǐng)域，特別涉及一種基于云服務(wù)數(shù)據(jù)特征的大規(guī)模數(shù)據(jù)分割系統(tǒng)及分割方法。

?

背景技術(shù)

云存儲是在云計(jì)算概念上延伸和發(fā)展出來的一個新概念。是指通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能，將網(wǎng)絡(luò)中大量各種不同類型的存儲設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作，工人同對外提供數(shù)據(jù)存儲和業(yè)務(wù)訪問功能的一個系統(tǒng)。當(dāng)云計(jì)算系統(tǒng)運(yùn)算和處理的核心是大量數(shù)據(jù)的存儲和管理時，云計(jì)算系統(tǒng)中就需要配置在量的存儲設(shè)備，那么云計(jì)算系統(tǒng)就轉(zhuǎn)變成一個云存儲系統(tǒng)，所述云存儲是一個以數(shù)據(jù)存儲和管理為核心的云計(jì)算系統(tǒng)。

從云存儲的概念及目前應(yīng)用來看，其本質(zhì)是向用戶提供一種透明的網(wǎng)絡(luò)存儲服務(wù)。用戶服務(wù)只要連接進(jìn)入互聯(lián)網(wǎng)，即可享受網(wǎng)絡(luò)存儲服務(wù)-隨時隨地的管理其所存儲的數(shù)據(jù)，就如同這些數(shù)據(jù)存儲在本地一樣；同時用戶可以方便將存儲在云存儲的數(shù)據(jù)與其他用戶共享。因此如何實(shí)現(xiàn)在任意網(wǎng)絡(luò)接入點(diǎn)方便快捷的讀取數(shù)據(jù)，同時保證數(shù)據(jù)的保密性、完整性成為云存儲技術(shù)的關(guān)鍵。

在申請?zhí)枮?01110103409.2、發(fā)明名稱為云存儲分割與備份數(shù)據(jù)的方法及裝置的專利中，公開了云存儲分割與備份數(shù)據(jù)的方法及裝置，其設(shè)計(jì)思路是通過改變以往將數(shù)據(jù)完整的保存在同一物理存儲設(shè)備上的做法,而采用將數(shù)據(jù)分割為若干數(shù)據(jù)段保存每段的校驗(yàn)信息,再將每一數(shù)據(jù)段再復(fù)制若干副本,將這些數(shù)據(jù)段副本分別保存在不同的物理存儲設(shè)備上。即對完整數(shù)據(jù)進(jìn)行有限、可控的分割與備份,數(shù)據(jù)分割片為多少片段、每一片段有多少副本都依據(jù)對數(shù)據(jù)保密性、完整性、可用性的要求高、底來決定。合并完整數(shù)據(jù)時,將通過校驗(yàn)的數(shù)據(jù)片段副本重新合并即可。

這種設(shè)計(jì)的確能夠解決數(shù)據(jù)分割和存儲的一些問題。但是，大規(guī)模云計(jì)算應(yīng)用數(shù)據(jù)規(guī)模的快速增長，從原有的每日GB級數(shù)據(jù)增長膨脹到TB級，甚至PB級，如何實(shí)現(xiàn)大規(guī)模用戶對大規(guī)模數(shù)據(jù)的實(shí)時高效的訪問，如何保障云應(yīng)用服務(wù)的連續(xù)性、可靠性、穩(wěn)定性和滿足SLA的服務(wù)滿意度指標(biāo)，已經(jīng)成為大規(guī)模云計(jì)算應(yīng)用平臺面臨且迫切需要解決的問題。

另外，云服務(wù)提供多種不同的應(yīng)用，我們稱之為云應(yīng)用服務(wù)平臺或云計(jì)算服務(wù)平臺。比如，云郵箱服務(wù)平臺、移動辦公云服務(wù)平臺等。目前，各個云應(yīng)用服務(wù)平臺或云計(jì)算服務(wù)平臺之間通常不進(jìn)行數(shù)據(jù)同步工作的。比如，移動辦公云服務(wù)平臺更改了某些數(shù)據(jù)（比如，聯(lián)系人的聯(lián)系電話發(fā)生變化），移動辦公云服務(wù)平臺不會主動將更改后的數(shù)據(jù)發(fā)送至云郵箱服務(wù)平臺，云郵箱服務(wù)平臺的聯(lián)系人聯(lián)系電話還是老的數(shù)據(jù)，存在同步性差的問題。

在申請?zhí)枮?01210393339.3中公開一種云管理平臺和云平臺間數(shù)據(jù)同步的方法，其步驟：云管理平臺在啟動時向云平臺獲取全部數(shù)據(jù)，更新到云管理平臺的數(shù)據(jù)庫并存放在內(nèi)存中的比較數(shù)據(jù)庫；云管理平臺每隔時間Y向云平臺獲取數(shù)據(jù)存放到內(nèi)存中；當(dāng)云管理平臺第N次向云平臺獲取數(shù)據(jù)時，其中N*Y≥X，云管理平臺開始同步數(shù)據(jù)；當(dāng)內(nèi)存中的比較數(shù)據(jù)庫與當(dāng)前獲取的數(shù)實(shí)時據(jù)不一致時，將當(dāng)前獲取的實(shí)時數(shù)據(jù)放入更新隊(duì)列；云管理平臺將更新隊(duì)列中實(shí)時數(shù)據(jù)更新到云管理平臺的數(shù)據(jù)庫中，云管理平臺將次數(shù)N清零，并將當(dāng)前獲取的實(shí)時數(shù)據(jù)存放到內(nèi)存中。該法是一種高效可行的方法，能夠減少云管理平臺的工作量。

這種云管理平臺來管理并同步云應(yīng)用服務(wù)平臺或云計(jì)算服務(wù)平臺的數(shù)據(jù)，雖然能達(dá)到比較好的同步效果。但是，以一個云郵箱服務(wù)平臺來說，有可能會涉及到郵箱數(shù)據(jù)、郵件數(shù)據(jù)是極度龐大的，如果僅同步某一部分?jǐn)?shù)據(jù)，則云管理平臺可以將該部分?jǐn)?shù)據(jù)存儲在本端的數(shù)據(jù)庫，然后更新相關(guān)其它云應(yīng)用服務(wù)平臺或云計(jì)算服務(wù)平臺，但是如果同步該些涉及到的所有或絕大部分?jǐn)?shù)據(jù)，對于云管理平臺來說，需要一個極其龐大的數(shù)據(jù)庫來存儲這些預(yù)同步的數(shù)據(jù)，特別大規(guī)模云計(jì)算應(yīng)用數(shù)據(jù)規(guī)模的快速增長，從原有的每日GB級數(shù)據(jù)增長膨脹到TB級，甚至PB級，如何實(shí)現(xiàn)大規(guī)模用戶對大規(guī)模數(shù)據(jù)的實(shí)時高效的訪問，如何保障云應(yīng)用服務(wù)的連續(xù)性、可靠性、穩(wěn)定性和滿足SLA的服務(wù)滿意度指標(biāo)，已經(jīng)成為大規(guī)模云計(jì)算應(yīng)用平臺面臨且迫切需要解決的問題。

?

發(fā)明內(nèi)容

本發(fā)明的第一目的在于提供基于云服務(wù)數(shù)據(jù)特征的大規(guī)模數(shù)據(jù)分割系統(tǒng)，以解決如何實(shí)現(xiàn)大規(guī)模用戶對大規(guī)模數(shù)據(jù)的實(shí)時高效的訪問，如何保障云應(yīng)用服務(wù)的連續(xù)性、可靠性、穩(wěn)定性和滿足SLA的服務(wù)滿意度指標(biāo)的技術(shù)問題。

一種基于云服務(wù)數(shù)據(jù)特征的大規(guī)模數(shù)據(jù)分割系統(tǒng)，包括：若干云客戶端、若干云應(yīng)用服務(wù)中心和至少一個大規(guī)模分布式數(shù)據(jù)庫DBRange管理中心，