[發明專利]城市多源異構數據的融合處理方法、裝置和計算機設備

在審

• 申請號: 202010761135.5
• 申請日: 2020-07-31
• 公開（公告）號: CN111897875A
• 公開（公告）日: 2020-11-06
• 發明（設計）人: 侯麗;劉翔
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/215;G06F16/22;G06F16/25
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 劉佳妮

本申請涉及一種基于大數據的城市多源異構數據的融合處理方法、裝置和計算機設備。該方法包括：獲取采集的城市多源異構數據；將多源異構數據進行預處理，得到預處理后的多源異構數據；將預處理后的多源異構數據存儲在Hbase分布式數據庫；獲取符合當前業務應用的數據處理規則以及相關數據源；查詢數據源的Hbase分布式數據庫的索引，根據數據處理規則提取相關數據并進行數據融合，建立業務應用的融合數據庫。由于融合時是以業務應用為需求，僅需根據業務應用的數據處理規則提取所需的數據，無需對全局數據進行融合，能夠提高數據融合效率。

技術領域

本申請涉及大數據處理技術領域，特別是涉及一種城市多源異構數據的融合處理方法、裝置、計算機設備和存儲介質。

背景技術

隨著信息化技術的發展，城市相關數據的信息存在多種形態，能夠實現城市信息資源的布、按需訂閱和互動交流。由于數據源不同，因此需要融合多個數據源的數據，為跨系統、跨領域的信息交互提供動態、可擴展的信息格式和內容轉換能力。

為實現數據融合，傳統的方法是通過支持向量機分類器對多源信息進行初步融合，再結合遺傳算法進一步對初步融合結果進行優化，得到最終的融合結果。而該方法適用于多源信息為包括企業基礎信息、事業單位基礎信息、社會團體信息、法人納稅信息、法人勞保信息等靜態信息的融合。而城市大數據項目涉及更多的動態的多源異構數據，如氣象、人車流量，視頻等，這些多源動態數據結構不同，不同應用所需的數據源不同，采用傳統的融合方法融合效率低。

發明內容

基于此，有必要針對上述技術問題，提供一種能夠提高融合效率的城市多源異構數據的融合處理方法、裝置、計算機設備和存儲介質。

一種城市多源異構數據的融合處理方法，所述方法包括：

獲取采集的城市多源異構數據；

將所述多源異構數據進行預處理，得到預處理后的多源異構數據；

將所述預處理后的多源異構數據存儲在Hbase分布式數據庫；

獲取符合當前業務應用的數據處理規則以及相關數據源；

查詢所述數據源的Hbase分布式數據庫的索引，根據所述數據處理規則提取相關數據并進行數據融合，建立所述業務應用的融合數據庫。

在其中一個實施例中，查詢所述數據源的Hbase分布式數據庫的索引，根據所述數據處理規則提取相關數據并進行數據融合，建立所述業務應用的融合數據庫，包括：

查詢數據源的Hbase分布式數據庫的索引，獲取相應數據庫的數據表；

根據所述數據處理規則，從所述數據表提取所需的數據，并存儲到元模型數據庫的不同數據表中；

識別所述元模型數據庫中不同數據表的各字段，根據具有識別作用字段將各數據表關聯，得到所述業務應用的融合數據庫。

在其中一個實施例中，所述識別所述元模型數據庫中不同數據表的各字段，根據具有識別作用字段將各數據表關聯，得到業務應用的融合數據庫，包括：

識別元模型數據庫的不同數據表的相同或相似屬性的字段并合并；

去除合并后的數據表的冗余字段；

根據具有識別作用字段將各數據表關聯，得到業務應用的融合數據庫。

在其中一個實施例中，將所述多源異構數據進行預處理，得到預處理后的多源異構數據，包括：

確定所述多源異構數據中的待轉換數據源；

將所述待轉換數據源轉換為通用格式；

對轉換后的多源異構數據進行數據清洗，去除重復數據，得到預處理后的多源異構數據。