[發(fā)明專利]一種同時(shí)實(shí)現(xiàn)空間數(shù)據(jù)和屬性數(shù)據(jù)ETL過程的方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201110424674.0
• 申請(qǐng)日: 2011-12-16
• 公開（公告）號(hào): CN102495902A
• 公開（公告）日: 2012-06-13
• 發(fā)明（設(shè)計(jì)）人: 王生;鄭學(xué)進(jìn);周小良;程永輝;鄭佳棟;肖云
• 申請(qǐng)（專利權(quán)）人: 方正國際軟件有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京天悅專利代理事務(wù)所(普通合伙) 11311
• 代理人: 田明;任曉航

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)信息處理技術(shù)領(lǐng)域，尤其涉及一種同時(shí)實(shí)現(xiàn)空間數(shù)據(jù)和屬性數(shù)據(jù)ETL過程的方法及系統(tǒng)。

背景技術(shù)

ETL是Extract-Transform-Load的縮寫，即數(shù)據(jù)抽取、轉(zhuǎn)換、加載的過程，負(fù)責(zé)將分布的、異構(gòu)的數(shù)據(jù)源中的數(shù)據(jù)如關(guān)系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時(shí)中間層后進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到目標(biāo)數(shù)據(jù)源或數(shù)據(jù)倉庫中，成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ)。

空間數(shù)據(jù)是指用來表示空間實(shí)體的位置、形狀、大小及其分布特征諸多方面信息的數(shù)據(jù)，它可以用來描述來自現(xiàn)實(shí)世界的目標(biāo)，它具有定位、定性、時(shí)間和空間關(guān)系等特性。空間數(shù)據(jù)是一種用點(diǎn)、線、面以及實(shí)體等基本空間數(shù)據(jù)結(jié)構(gòu)來表示人們賴以生存的自然世界的數(shù)據(jù)。

空間數(shù)據(jù)的ETL過程則是將多源、異構(gòu)的空間數(shù)據(jù)(包含坐標(biāo)信息)抽取到臨時(shí)中間層后進(jìn)行清洗、轉(zhuǎn)換、集成，最后加載到另一種格式的目標(biāo)空間數(shù)據(jù)源中。

目前現(xiàn)有的系統(tǒng)及技術(shù)中，大部分是針對(duì)傳統(tǒng)屬性數(shù)據(jù)的，其實(shí)現(xiàn)了在異構(gòu)數(shù)據(jù)源之間各種類型屬性信息(整型、浮點(diǎn)型、字符型、長(zhǎng)文本、二進(jìn)制等)的抽取、轉(zhuǎn)換、加載過程。其從數(shù)據(jù)源上將數(shù)據(jù)作為記錄逐條抽取出來，經(jīng)過中間的處理流程，最終將記錄再寫入到另一種格式的目標(biāo)數(shù)據(jù)源上。

另外，現(xiàn)有技術(shù)中也有給出了空間數(shù)據(jù)的ETL解決方案，但卻并不完善，僅局限在坐標(biāo)信息的抽取、轉(zhuǎn)換、加載，并且未考慮與傳統(tǒng)屬性信息的ETL過程結(jié)合。這種方法的缺陷在于未能與傳統(tǒng)屬性數(shù)據(jù)ETL過程進(jìn)行良好的結(jié)合，即缺乏空間數(shù)據(jù)與屬性數(shù)據(jù)之間的相互轉(zhuǎn)換機(jī)制，無法解決傳統(tǒng)的MIS系統(tǒng)(管理信息系統(tǒng)，Management?Information?System)以及GIS系統(tǒng)(地理信息系統(tǒng)，geographic?information?system)之間的數(shù)據(jù)交換。因此，無法實(shí)現(xiàn)空間數(shù)據(jù)的ETL過程。雖然這些方法在傳統(tǒng)ETL過程的基礎(chǔ)之上，將傳統(tǒng)的數(shù)據(jù)類型進(jìn)行擴(kuò)充，引入新的圖元類型用于存儲(chǔ)坐標(biāo)信息，然后借助傳統(tǒng)ETL過程實(shí)現(xiàn)空間數(shù)據(jù)坐標(biāo)信息的ETL過程。但是這些方法僅考慮空間數(shù)據(jù)中的空間信息，卻未考慮空間數(shù)據(jù)中包含的樣式信息，無法在ETL過程中保存并恢復(fù)此信息，經(jīng)過ETL過程后樣式信息丟失。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中所存在的不足，本發(fā)明提出了一種更完善的整合空間和屬性數(shù)據(jù)的ETL實(shí)現(xiàn)方法，其目的在于：實(shí)現(xiàn)空間數(shù)據(jù)的ETL過程，包括坐標(biāo)信息以及樣式信息的處理，并在數(shù)據(jù)源支持的情況下，樣式信息轉(zhuǎn)換后不丟失；實(shí)現(xiàn)屬性數(shù)據(jù)與空間信息的整合處理、轉(zhuǎn)換。

本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案如下所描述：

一種同時(shí)實(shí)現(xiàn)空間數(shù)據(jù)和屬性數(shù)據(jù)ETL過程的方法，包括以下步驟：

(1)從數(shù)據(jù)源中讀取源數(shù)據(jù)，所述的源數(shù)據(jù)是空間數(shù)據(jù)；

(2)檢測(cè)源數(shù)據(jù)中是否包含圖元信息，如果是，則對(duì)圖元信息進(jìn)行轉(zhuǎn)換處理，所述的圖元信息包括空間信息和樣式信息，否則直接轉(zhuǎn)換屬性數(shù)據(jù)；

(3)將轉(zhuǎn)換處理后的數(shù)據(jù)加載到目標(biāo)數(shù)據(jù)源中。

進(jìn)一步，步驟(1)中，以記錄為單位，從數(shù)據(jù)源中逐條讀取源數(shù)據(jù)。

步驟(2)中，對(duì)于源數(shù)據(jù)中的屬性字段直接進(jìn)行抽取或保存為純屬性數(shù)據(jù)，即屬性數(shù)據(jù)在實(shí)現(xiàn)ETL過程時(shí)，按照傳統(tǒng)的實(shí)現(xiàn)方式，負(fù)責(zé)從源數(shù)據(jù)中讀取屬性字段信息，以及將屬性字段信息寫入到目標(biāo)數(shù)據(jù)源中。

進(jìn)一步，步驟(2)中，對(duì)于源數(shù)據(jù)中的空間信息樣式信息進(jìn)行轉(zhuǎn)換處理時(shí)，包括如下步驟：

①對(duì)空間數(shù)據(jù)信息進(jìn)行轉(zhuǎn)換；

②對(duì)內(nèi)部屬性信息進(jìn)行轉(zhuǎn)換；

③根據(jù)該空間數(shù)據(jù)格式對(duì)樣式的支持能力，從源數(shù)據(jù)上讀取公共樣式信息以及私有樣式信息到屬性字段，并在目標(biāo)數(shù)據(jù)上對(duì)傳入的屬性字段進(jìn)行檢索，從中查找公共樣式信息以及私有樣式信息，將其轉(zhuǎn)換為目標(biāo)支持的樣式信息。

更進(jìn)一步，步驟①中，將讀取的空間數(shù)據(jù)中的信息進(jìn)行分解，分解為以下幾部分信息：

(1)空間描述信息：對(duì)圖元的類型、坐標(biāo)系等描述信息；

(2)空間坐標(biāo)信息：地理位置信息，即X，Y坐標(biāo)；

(3)傳統(tǒng)屬性信息：空間數(shù)據(jù)中包含的傳統(tǒng)屬性信息；

(4)空間樣式信息：繪制圖元時(shí)使用的顏色、填充等信息。

再進(jìn)一步，對(duì)讀取的空間數(shù)據(jù)中的這幾部分信息采用如下方式進(jìn)行處理：

將空間描述信息、空間坐標(biāo)信息存儲(chǔ)于圖元類型的字段中，該字段與其它屬性字段構(gòu)成記錄，跟隨ETL過程進(jìn)行處理；

將傳統(tǒng)屬性信息直接作為屬性字段進(jìn)行處理；

將空間樣式信息也作為屬性字段進(jìn)行處理。