[發(fā)明專(zhuān)利]一種異構(gòu)云存儲(chǔ)系統(tǒng)及其數(shù)據(jù)處理方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201310368559.5
• 申請(qǐng)日: 2013-08-21
• 公開(kāi)（公告）號(hào): CN103440303A
• 公開(kāi)（公告）日: 2013-12-11
• 發(fā)明（設(shè)計(jì)）人: 王穎;狄靜舒;宋懷明;苗艷超;劉新春;邵宗有
• 申請(qǐng)（專(zhuān)利權(quán)）人: 曙光信息產(chǎn)業(yè)股份有限公司
• 主分類(lèi)號(hào): G06F17/30
• 分類(lèi)號(hào): G06F17/30;H04L29/08
• 代理公司: 北京新知遠(yuǎn)方知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11397
• 代理人: 張艷

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)領(lǐng)域，尤其涉及一種異構(gòu)云存儲(chǔ)系統(tǒng)及其數(shù)據(jù)處理方法。

背景技術(shù)

關(guān)于數(shù)據(jù)存儲(chǔ)系統(tǒng)，目前符合結(jié)構(gòu)化查詢(xún)語(yǔ)言SQL標(biāo)準(zhǔn)的系統(tǒng)是使用最廣泛的?，F(xiàn)在眾多的云存儲(chǔ)系統(tǒng)都會(huì)對(duì)外提供一個(gè)類(lèi)似JDBC(JAVA數(shù)據(jù)庫(kù)連接，一種用于執(zhí)行SQL的JAVAAPI，它可以兼容多種關(guān)系型數(shù)據(jù)庫(kù))或者ODBC(由微軟提出的數(shù)據(jù)訪(fǎng)問(wèn)接口標(biāo)準(zhǔn)，開(kāi)放數(shù)據(jù)庫(kù)互聯(lián)的標(biāo)準(zhǔn))的標(biāo)準(zhǔn)接口。目的是給專(zhuān)門(mén)從事某種業(yè)務(wù)的數(shù)據(jù)處理分析，可以更快的入手，不必花更多時(shí)間去了解不同的存儲(chǔ)系統(tǒng)的特定的接口功能。利用一個(gè)統(tǒng)一的標(biāo)準(zhǔn)接口，就可以訪(fǎng)問(wèn)更多不同的數(shù)據(jù)存儲(chǔ)系統(tǒng)，完成不同存儲(chǔ)系統(tǒng)上的數(shù)據(jù)處理。

隨著大數(shù)據(jù)需求日益高漲，業(yè)界出現(xiàn)了很多各種各樣的數(shù)據(jù)存儲(chǔ)系統(tǒng)。因?yàn)榇髷?shù)據(jù)處理的需求和應(yīng)用場(chǎng)景不同，有的只需要離線(xiàn)處理，允許一定的處理延遲。對(duì)于這種情況，可以采用批量處理的系統(tǒng)，如Map?Reduce平臺(tái)，通過(guò)調(diào)度批量任務(wù)來(lái)操作靜態(tài)數(shù)據(jù)，缺點(diǎn)就是存在一定的延遲。有的則需要交互式處理，希望延遲盡可能的短，可以及時(shí)返回結(jié)果。對(duì)于這種情況就需要交互式處理系統(tǒng)，不能把多個(gè)請(qǐng)求放到一起批量處理，而是需要每來(lái)一個(gè)請(qǐng)求就及時(shí)處理。還有的需要隨著數(shù)據(jù)量的增加進(jìn)行增量處理，這種情況需要對(duì)原始數(shù)據(jù)集有修改操作，因此也就需要系統(tǒng)支持修改操作。還有的需要隨著數(shù)據(jù)源源不斷的到來(lái)，實(shí)現(xiàn)針對(duì)數(shù)據(jù)流的處理。

不同的應(yīng)用場(chǎng)景需要采用不同的存儲(chǔ)和處理系統(tǒng)。很多時(shí)候在同一個(gè)業(yè)務(wù)中，會(huì)同時(shí)有幾種不同的需求，比如，在線(xiàn)交互處理與離線(xiàn)處理的混合。因此，如果能有一種架構(gòu)可以將這些大數(shù)據(jù)處理系統(tǒng)進(jìn)行融合，對(duì)外提供統(tǒng)一的接口，將會(huì)給業(yè)務(wù)開(kāi)發(fā)人員帶來(lái)很大的便利。

而現(xiàn)有的大數(shù)據(jù)處理系統(tǒng)都有自己特定的數(shù)據(jù)定義以及數(shù)據(jù)查詢(xún)接口，比如：HBase、Cassandra、Hive、HDFS等，他們對(duì)外提供的數(shù)據(jù)處理接口各不相同。Hive主要支持有明確模式的結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)定義和查詢(xún)類(lèi)似于SQL標(biāo)準(zhǔn)。HDFS可以支持無(wú)模式的非結(jié)構(gòu)化數(shù)據(jù)，但是需要用戶(hù)提供一個(gè)解析數(shù)據(jù)的類(lèi)。如果用戶(hù)只是離線(xiàn)批量處理，就可以考慮采用HDFS、Hive。如果用戶(hù)需要對(duì)存儲(chǔ)數(shù)據(jù)的修改更新操作，可以采用HBase、Cassandra等類(lèi)似的NoSq1數(shù)據(jù)庫(kù)(Not?only?SQL，針對(duì)大數(shù)據(jù)處理的、模式簡(jiǎn)單、限制低的數(shù)據(jù)庫(kù)產(chǎn)品)。因此，不同的數(shù)據(jù)處理需要去調(diào)用不同的客戶(hù)端接口，給業(yè)務(wù)開(kāi)發(fā)人員帶來(lái)了極大的負(fù)擔(dān)。目前還沒(méi)有一種可將不同架構(gòu)和設(shè)計(jì)的存儲(chǔ)系統(tǒng)融合在一起方法。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中存在的技術(shù)問(wèn)題，本發(fā)明提供了一種異構(gòu)云存儲(chǔ)系統(tǒng)及其數(shù)據(jù)處理方法，可以將異構(gòu)的云存儲(chǔ)系統(tǒng)融合起來(lái)，并對(duì)外提供統(tǒng)一的查詢(xún)處理接口。

為了達(dá)到上述目的，本發(fā)明提供了一種異構(gòu)云存儲(chǔ)系統(tǒng)，技術(shù)方案如下：

接收單元，用于接收用戶(hù)發(fā)送的數(shù)據(jù)庫(kù)語(yǔ)句，所述數(shù)據(jù)庫(kù)語(yǔ)句符合異構(gòu)云存儲(chǔ)系統(tǒng)中數(shù)據(jù)對(duì)象的語(yǔ)法；

解析引擎，用于解析所述數(shù)據(jù)庫(kù)語(yǔ)句；

云存儲(chǔ)器，用于接收解析后的操作指令并執(zhí)行。

所述解析引擎包括公共解析引擎和二級(jí)解析引擎，所述公共解析引擎包括公共數(shù)據(jù)定義解析引擎和公共數(shù)據(jù)查詢(xún)解析引擎，所述二級(jí)解析引擎包括對(duì)應(yīng)于每個(gè)云存儲(chǔ)器的二級(jí)數(shù)據(jù)定義解析引擎和二級(jí)數(shù)據(jù)查詢(xún)解析引擎：其中，所述公共解析引擎用于將所述數(shù)據(jù)庫(kù)語(yǔ)句解析為多條數(shù)據(jù)庫(kù)語(yǔ)句，解析后的多條數(shù)據(jù)庫(kù)語(yǔ)句分別發(fā)送給相應(yīng)云存儲(chǔ)器的二級(jí)解析引擎，所述數(shù)據(jù)庫(kù)語(yǔ)句包括數(shù)據(jù)定義語(yǔ)句和數(shù)據(jù)查詢(xún)語(yǔ)句；所述二級(jí)解析引擎用于接收所述公共解析引擎解析后的數(shù)據(jù)庫(kù)語(yǔ)句，并對(duì)相應(yīng)云存儲(chǔ)器對(duì)應(yīng)的數(shù)據(jù)定義語(yǔ)句和數(shù)據(jù)查詢(xún)語(yǔ)句進(jìn)行解析。

所述公共解析引擎具體用于：將所述數(shù)據(jù)定義語(yǔ)句和所述數(shù)據(jù)查詢(xún)語(yǔ)句分別解析為多條數(shù)據(jù)定義語(yǔ)句和多條數(shù)據(jù)查詢(xún)語(yǔ)句，并將解析后的多條數(shù)據(jù)定義語(yǔ)句和多條數(shù)據(jù)查詢(xún)語(yǔ)句分別發(fā)送給相應(yīng)云存儲(chǔ)器的二級(jí)數(shù)據(jù)定義解析引擎和二級(jí)數(shù)據(jù)查詢(xún)解析引擎。

所述二級(jí)數(shù)據(jù)定義解析引擎將相應(yīng)云存儲(chǔ)器的數(shù)據(jù)定義語(yǔ)句解析為可執(zhí)行的數(shù)據(jù)定義操作指令；所述二級(jí)數(shù)據(jù)查詢(xún)解析引擎將相應(yīng)云存儲(chǔ)器的數(shù)據(jù)查詢(xún)語(yǔ)句解析為可執(zhí)行的數(shù)據(jù)查詢(xún)操作指令。

所述系統(tǒng)對(duì)外采用外觀(guān)模式，用于對(duì)外提供統(tǒng)一的數(shù)據(jù)接口；對(duì)內(nèi)采用適配器模式，用于適配統(tǒng)一接口與異構(gòu)的各云存儲(chǔ)器的內(nèi)部接口。

本發(fā)明還提供了一種異構(gòu)云存儲(chǔ)系統(tǒng)的數(shù)據(jù)處理方法，主要技術(shù)方案如下：

接收用戶(hù)發(fā)送的數(shù)據(jù)庫(kù)語(yǔ)句，并對(duì)其進(jìn)行解析；所述數(shù)據(jù)庫(kù)語(yǔ)句符合異構(gòu)云存儲(chǔ)系統(tǒng)中數(shù)據(jù)對(duì)象的語(yǔ)法；

將解析后的操作指令發(fā)送到相應(yīng)的云存儲(chǔ)器中執(zhí)行該操作。