[發(fā)明專利]一種異構(gòu)數(shù)據(jù)整合方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010567835.0
• 申請日: 2020-06-19
• 公開（公告）號: CN111708829A
• 公開（公告）日: 2020-09-25
• 發(fā)明（設(shè)計）人: 何烈軍;楊培鋒;張?zhí)焖?/a>
• 申請（專利權(quán)）人: 廣州奧佳軟件技術(shù)有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/215
• 代理公司: 北京勁創(chuàng)知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11589
• 代理人: 曹玉清

1.一種異構(gòu)數(shù)據(jù)整合方法，其特征在于：所述異構(gòu)數(shù)據(jù)整合方法包括如下步驟：

(1)從原始異構(gòu)數(shù)據(jù)庫中選取量測指標(biāo)齊全的異構(gòu)數(shù)據(jù)，通過將選取的指標(biāo)齊全的異構(gòu)數(shù)據(jù)進(jìn)行整理，同時備份選取的原始異構(gòu)數(shù)據(jù)；

(2)將原始數(shù)據(jù)庫中的增量進(jìn)行收集，通過采集模塊(1)進(jìn)行采集，通過數(shù)據(jù)處理模塊(3)將增量原始數(shù)據(jù)模塊與步驟(1)中整理的異構(gòu)數(shù)據(jù)進(jìn)行整理讀取；

(3)將采集的異構(gòu)數(shù)據(jù)進(jìn)行分解，將異構(gòu)數(shù)據(jù)分解成對象、屬性和連接三類基本元素，將分解后的對象、屬性和連接三類基本元素進(jìn)行分類整理；

(4)在數(shù)據(jù)庫中創(chuàng)建表格，根據(jù)步驟(3)中分解的對象、屬性和連接三類基本元素在數(shù)據(jù)庫中進(jìn)行創(chuàng)建表格，將對象、屬性和連接三類基本元素分類到創(chuàng)建表中；

(5)數(shù)據(jù)整合，通過負(fù)責(zé)對提供的異構(gòu)數(shù)據(jù)通過整合模塊(5)進(jìn)行實時整合，建立緩存庫和知識庫，并為大數(shù)據(jù)分析平臺提供標(biāo)準(zhǔn)化的數(shù)據(jù)接口。

2.根據(jù)權(quán)利要求1所述的一種異構(gòu)數(shù)據(jù)整合方法，其特征在于：所述步驟(1)中選取的異構(gòu)數(shù)據(jù)通過過濾以及清洗轉(zhuǎn)換，所述過濾的信息為錯誤和重復(fù)的無效信息。

3.根據(jù)權(quán)利要求1所述的一種異構(gòu)數(shù)據(jù)整合方法，其特征在于：所述步驟(1)中的備份選取的原始異構(gòu)數(shù)據(jù)通過存儲模塊(2)進(jìn)行存儲，所述存儲模塊(2)與數(shù)據(jù)處理模塊(3)電性連接。

4.根據(jù)權(quán)利要求1所述的一種異構(gòu)數(shù)據(jù)整合方法，其特征在于：所述步驟(2)中的采集模塊(1)由數(shù)據(jù)預(yù)處理子模塊(101)以及數(shù)據(jù)采集子模塊(102)構(gòu)成。

5.根據(jù)權(quán)利要求1所述的一種異構(gòu)數(shù)據(jù)整合方法，其特征在于：所述步驟(2)中的數(shù)據(jù)庫增量收集后也需要對錯誤的以及重復(fù)的無效信息進(jìn)行過濾。

6.根據(jù)權(quán)利要求1所述的一種異構(gòu)數(shù)據(jù)整合方法，其特征在于：所述步驟(3)中對象、屬性和連接三類基本元素分別放置在創(chuàng)建表內(nèi)。

7.根據(jù)權(quán)利要求1所述的一種異構(gòu)數(shù)據(jù)整合方法，其特征在于：所述步驟(3)中異構(gòu)數(shù)據(jù)分解的對象以及屬性通過語義標(biāo)注模塊(4)進(jìn)行語義標(biāo)注以及獲取語義類型以及屬性語義類型。

8.根據(jù)權(quán)利要求1所述的一種異構(gòu)數(shù)據(jù)整合方法，其特征在于：所述步驟(4)中的創(chuàng)建表有對象表、屬性表以及連接表構(gòu)成。

9.根據(jù)權(quán)利要求1所述的一種異構(gòu)數(shù)據(jù)整合方法，其特征在于：所述步驟(5)中的采集模塊(1)與數(shù)據(jù)處理模塊(3)單向電性連接，所述數(shù)據(jù)處理模塊(3)與語義標(biāo)注模塊(4)電性連接，所述語義標(biāo)注模塊(4)與整合模塊(5)電性連接。

10.根據(jù)權(quán)利要求1-9任意一項所述的一種異構(gòu)數(shù)據(jù)整合方法得出一種異構(gòu)數(shù)據(jù)整合系統(tǒng)，其特征在于：包括采集模塊(1)，所述采集模塊(1)包括數(shù)據(jù)預(yù)處理子模塊(101)以及數(shù)據(jù)采集子模塊(102)，所述數(shù)據(jù)預(yù)處理子模塊(101)與數(shù)據(jù)采集子模塊(102)電性連接，所述數(shù)據(jù)采集子模塊(102)與存儲模塊(2)單向連接，所述存儲模塊(2)與數(shù)據(jù)處理模塊(3)單向連接，所述數(shù)據(jù)處理模塊(3)與語義標(biāo)注模塊(4)單向連接，所述語義標(biāo)注模塊(4)與整合模塊(5)單向連接。