[發明專利]城市多源異構數據的融合處理方法、裝置和計算機設備

在審

• 申請號: 202010761135.5
• 申請日: 2020-07-31
• 公開（公告）號: CN111897875A
• 公開（公告）日: 2020-11-06
• 發明（設計）人: 侯麗;劉翔
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/215;G06F16/22;G06F16/25
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 劉佳妮

1.一種城市多源異構數據的融合處理方法，所述方法包括：

獲取采集的城市多源異構數據；

將所述多源異構數據進行預處理，得到預處理后的多源異構數據；

將所述預處理后的多源異構數據存儲在Hbase分布式數據庫；

獲取符合當前業務應用的數據處理規則以及相關數據源；

查詢所述數據源的Hbase分布式數據庫的索引，根據所述數據處理規則提取相關數據并進行數據融合，建立所述業務應用的融合數據庫。

2.根據權利要求1所述的方法，其特征在于，查詢所述數據源的Hbase分布式數據庫的索引，根據所述數據處理規則提取相關數據并進行數據融合，建立所述業務應用的融合數據庫，包括：

查詢數據源的Hbase分布式數據庫的索引，獲取相應數據庫的數據表；

根據所述數據處理規則，從所述數據表提取所需的數據，并存儲到元模型數據庫的不同數據表中；

識別所述元模型數據庫中不同數據表的各字段，根據具有識別作用字段將各數據表關聯，得到所述業務應用的融合數據庫。

3.根據權利要求2所述的方法，其特征在于，所述識別所述元模型數據庫中不同數據表的各字段，根據具有識別作用字段將各數據表關聯，得到業務應用的融合數據庫，包括：

識別元模型數據庫的不同數據表的相同或相似屬性的字段并合并；

去除合并后的數據表的冗余字段；

根據具有識別作用字段將各數據表關聯，得到業務應用的融合數據庫。

4.根據權利要求1所述的方法，其特征在于，將所述多源異構數據進行預處理，得到預處理后的多源異構數據，包括：

確定所述多源異構數據中的待轉換數據源；

將所述待轉換數據源轉換為通用格式；

對轉換后的多源異構數據進行數據清洗，去除重復數據，得到預處理后的多源異構數據。

5.根據權利要求4所述的方法，其特征在于，將所述待轉換數據源轉換為通用格式，包括：

根據數據源的格式調用相應轉換工具將待轉換數據源轉換為通用格式。

6.根據權利要求4所述的方法，其特征在于，對轉換后的多源異構數據進行數據清洗，去除重復數據，得到預處理后的多源異構數據，包括：

對轉換后的多源異構數據進行數據特征屬性辨別；

去除數據特征屬性相近的重復數據，得到預處理后的多源異構數據。

7.一種城市多源異構數據的融合處理裝置，其特征在于，所述裝置包括：

采集模塊，用于采集城市多源異構數據；

預處理模塊，用于將所述多源異構數據進行預處理，得到預處理后的多源異構數據；

存儲模塊，用于將所述預處理后的多源異構數據存儲在Hbase分布式數據庫；

應用規則獲取模塊，用于獲取設置的對業務應用的數據處理規則以及相關數據源；

融合模塊，用于查詢所述數據源的Hbase分布式數據庫的索引，根據所述數據處理規則提取相關數據并進行數據融合，建立所述業務應用的融合數據庫。

8.根據權利要求7所述的裝置，其特征在于，所述融合裝置包括：

查詢模塊，用于查詢數據源的Hbase分布式數據庫的索引，獲取相應數據庫的數據表；

提取模塊，用于所述數據處理規則，從所述數據表提取所需的數據，并存儲到元模型數據庫的不同數據表中；

關聯模塊，用于識別所述元模型數據庫中不同數據表的各字段，根據具有識別作用字段將各數據表關聯，得到業務應用的融合數據庫。

9.一種計算機設備，包括存儲器和處理器，所述存儲器存儲有計算機程序，其特征在于，所述處理器執行所述計算機程序時實現權利要求1至6中任一項所述方法的步驟。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1至6中任一項所述的方法的步驟。