[發(fā)明專利]一種用于大規(guī)模分布異構(gòu)數(shù)據(jù)的虛擬化方法

在審

• 申請?zhí)枺?/td>: 201310539465.X
• 申請日: 2013-11-04
• 公開（公告）號: CN103617175A
• 公開（公告）日: 2014-03-05
• 發(fā)明（設(shè)計）人: 劉祥濤;謝毅;岳強(qiáng);季統(tǒng)凱
• 申請（專利權(quán)）人: 廣東電子工業(yè)研究院有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京科億知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11350
• 代理人: 湯東鳳

技術(shù)領(lǐng)域

本發(fā)明涉及計算機(jī)應(yīng)用技術(shù)領(lǐng)域，尤其是一種大規(guī)模分布異構(gòu)數(shù)據(jù)的虛擬化方法。

背景技術(shù)

在企業(yè)信息化建設(shè)過程中，由于各業(yè)務(wù)系統(tǒng)建設(shè)和實(shí)施數(shù)據(jù)管理系統(tǒng)的階段性、技術(shù)性以及其它經(jīng)濟(jì)和人為因素的影響，導(dǎo)致企業(yè)在發(fā)展過程中積累了大量采用不同存儲方式的業(yè)務(wù)數(shù)據(jù)；包括采用的數(shù)據(jù)管理系統(tǒng)也大不相同，從簡單的文件數(shù)據(jù)庫到復(fù)雜的網(wǎng)絡(luò)數(shù)據(jù)庫，構(gòu)成了企業(yè)的異構(gòu)數(shù)據(jù)源。這些分散的不同業(yè)務(wù)的數(shù)據(jù)管理系統(tǒng)雖然能夠滿足業(yè)務(wù)數(shù)據(jù)存儲和管理要求，但在許多情況下，企業(yè)領(lǐng)導(dǎo)要做出一項決策，往往需要查詢多個基于各種異構(gòu)數(shù)據(jù)源的業(yè)務(wù)系統(tǒng)和外部系統(tǒng)，進(jìn)行大量數(shù)據(jù)分析后才能做出決策。

因此，異構(gòu)數(shù)據(jù)源的整合與集成是企業(yè)信息化建設(shè)過程經(jīng)常遇到的一個現(xiàn)實(shí)問題。也是制約企業(yè)各種應(yīng)用信息系統(tǒng)建設(shè)和數(shù)據(jù)共享程度，以及信息化建設(shè)投資重復(fù)或負(fù)擔(dān)重的一個重要因素。

數(shù)據(jù)資源整合過程中的一項關(guān)鍵技術(shù)就是如何對異構(gòu)數(shù)據(jù)進(jìn)行虛擬化，抽象出一個統(tǒng)一的數(shù)據(jù)模型，以屏蔽底層數(shù)據(jù)資源訪問的分布性和異構(gòu)性，實(shí)現(xiàn)數(shù)據(jù)的互聯(lián)互通以及全局統(tǒng)一的數(shù)據(jù)視圖。

發(fā)明內(nèi)容

本發(fā)明解決的技術(shù)問題在于提供一種用于大規(guī)模分布異構(gòu)數(shù)據(jù)的虛擬化方法；可以有效的解決大規(guī)模分布異構(gòu)數(shù)據(jù)的描述、組織、定位和訪問，提供全局統(tǒng)一的數(shù)據(jù)結(jié)構(gòu)以及訪問接口。

本發(fā)明解決上述技術(shù)問題的技術(shù)方案是：

所述方法由三層結(jié)構(gòu)、兩級映射兩個部分實(shí)現(xiàn)；

所述的三層結(jié)構(gòu)包括物理層、虛擬表層、虛擬視圖層；

所述的物理層由各種分布、異構(gòu)的數(shù)據(jù)源組成，每一種數(shù)據(jù)源都有自己專有的數(shù)據(jù)結(jié)構(gòu)、訪問接口；這些數(shù)據(jù)源包括數(shù)據(jù)庫系統(tǒng)、文件系統(tǒng)、Web?Service；

所述的虛擬表層對物理層的數(shù)據(jù)資源進(jìn)行封裝和抽象，通過虛擬化機(jī)制，將物理層的數(shù)據(jù)源統(tǒng)一表示成簡單的二維關(guān)系，即虛擬表；虛擬表和物理表一一對應(yīng)，映射信息存儲在元數(shù)據(jù)管理器中；

所述的虛擬視圖層直接面向用戶，虛擬視圖為用戶提供滿足應(yīng)用需求的數(shù)據(jù)規(guī)范或者業(yè)務(wù)模式；所述的虛擬視圖是一個二維關(guān)系，由一個或者多個虛擬表通過關(guān)系算子運(yùn)算而成，虛擬視圖與虛擬表的關(guān)系為1：n的關(guān)系，一個虛擬視圖對應(yīng)一個或者多個虛擬表，映射信息存儲在元數(shù)據(jù)管理器中；

所述的兩級映射包括PV映射和VV映射；

所述的PV映射為第一級映射，負(fù)責(zé)物理層的物理表到虛擬表層的虛擬表之間的映射；PV映射主要包括三個方面：結(jié)構(gòu)映射、類型映射、地址映射；所述的結(jié)構(gòu)將異構(gòu)的數(shù)據(jù)結(jié)構(gòu)統(tǒng)一映射成標(biāo)準(zhǔn)的二維關(guān)系，也就是虛擬表；類型映射將多樣的數(shù)據(jù)類型統(tǒng)一映射成單一的字符串型；地址映射將物理數(shù)據(jù)源的物理地址統(tǒng)一映射成虛擬地址，形成一個全局統(tǒng)一的地址空間，屏蔽數(shù)據(jù)源的物理分布性；

所述的VV映射為第二級映射，負(fù)責(zé)虛擬表層的虛擬表到虛擬視圖層的虛擬視圖之間的映射；主要是實(shí)現(xiàn)數(shù)據(jù)內(nèi)容映射，即：通過關(guān)系算子的運(yùn)算，將虛擬表中的數(shù)據(jù)轉(zhuǎn)換成虛擬視圖中的數(shù)據(jù)，將基礎(chǔ)的數(shù)據(jù)加工、映射成業(yè)務(wù)所需要的數(shù)據(jù)。

所述的虛擬表層的虛擬表由表名和字段列表兩部分組成，虛擬表中的字段只有一種數(shù)據(jù)類型，為字符串型；在與物理層數(shù)據(jù)源交互時，會轉(zhuǎn)化成數(shù)據(jù)源真實(shí)的數(shù)據(jù)類型；每一個虛擬表及其字段都有一個虛擬地址，虛擬地址是一個11位的十進(jìn)制編碼，中間一位是標(biāo)志位，虛擬表的虛擬地址中該標(biāo)志位為“9”；所有的虛擬地址構(gòu)成一個全局的地址空間。

所述的虛擬視圖由表名和字段列表組成；所述的關(guān)系算子包括選擇、投影、連接、加、聚合等；所述的虛擬視圖之間也可以進(jìn)行關(guān)系運(yùn)算，產(chǎn)生更復(fù)雜的虛擬視圖；虛擬視圖也設(shè)有虛擬地址，虛擬地址的中間標(biāo)志位為“5”。

所述的PV映射實(shí)現(xiàn)的關(guān)鍵數(shù)據(jù)結(jié)構(gòu)記錄在一個元數(shù)據(jù)表metapv中；metapv的主要字段如下表所示：

metapv表結(jié)構(gòu)

所述的VV映射實(shí)現(xiàn)的關(guān)鍵數(shù)據(jù)結(jié)構(gòu)記錄在一個元數(shù)據(jù)表metavv中；metavv的主要字段如下表所示：

metavv表結(jié)構(gòu)