[發明專利]數據集成方法、裝置、電子設備和計算機可讀介質

有效

• 申請號: 202110732216.7
• 申請日: 2021-06-30
• 公開（公告）號: CN113190517B
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 張天長
• 申請（專利權）人: 北京德風新征程科技有限公司
• 主分類號: G06F16/178
• 分類號: G06F16/178;G06F16/182;G06F16/25;G06F16/27
• 代理公司: 北京唯智勤實知識產權代理事務所(普通合伙) 11557
• 代理人: 陳佳

本公開的實施例公開了數據集成方法、裝置、電子設備和計算機可讀介質。該方法的一具體實施方式包括：從多個數據源中，周期性獲取目標數據源所指示的源數據；選取與目標數據源的類型相對應的數據映射方法，對當前獲取的源數據進行數據映射，得到當前映射數據；將當前映射數據與歷史映射數據進行數據結構比較分析，其中，歷史映射數據為對上次獲取的目標數據源所指示的源數據進行數據映射而得到的映射數據；響應于數據結構存在差異，生成變更提示信息。該實施方式實現了不同數據源的數據集成。并且能夠動態獲取源數據的數據結構變化情況。

技術領域

本公開的實施例涉及計算機技術領域，具體涉及數據集成方法、裝置、電子設備和計算機可讀介質。

背景技術

數據庫一般是“按照數據結構來組織、存儲和管理數據的倉庫”。 在數據庫的發展歷史上，數據庫先后經歷了層次數據庫、網狀數據庫和關系數據庫等各個階段的發展。數據庫技術在各個方面快速地發展，特別是關系型數據庫已經成為目前數據庫產品中最重要的一員。

隨著云計算的發展和大數據時代的到來，關系型數據庫越來越無法滿足需要。于是越來越多的非關系型數據庫就開始出現。這類數據庫與傳統的關系型數據庫在設計和數據結構有了很大的不同，它們更強調數據庫數據的高并發讀寫和存儲大數據。

然而，數據庫的多樣性給用戶使用數據以及數據集成帶來了困難。目前針對不同數據庫的數據源，往往需要開發不同的數據集成工具。雖然大數據Hadoop生態圈是目前應用最為廣泛的分布式大數據處理框架，但其不兼容關系型數據庫。此外，現有的數據集成處理技術不能動態跟蹤源數據的數據結構變化情況。

發明內容

本公開的內容部分用于以簡要的形式介紹構思，這些構思將在后面的具體實施方式部分被詳細描述。本公開的內容部分并不旨在標識要求保護的技術方案的關鍵特征或必要特征，也不旨在用于限制所要求的保護的技術方案的范圍。本公開的一些實施例提出了用于分析電力系統安全性的方法、裝置、電子設備和計算機可讀介質，來解決以上背景技術部分提到的技術問題中的一項或多項。

第一方面，本公開的一些實施例提供了一種數據集成方法，包括：從多個數據源中，周期性獲取目標數據源所指示的源數據；選取與目標數據源的類型相對應的數據映射方法，對當前獲取的源數據進行數據映射，得到當前映射數據；將當前映射數據與歷史映射數據進行數據結構比較分析，其中，歷史映射數據為對上次獲取的目標數據源所指示的源數據進行數據映射而得到的映射數據；響應于數據結構存在差異，生成變更提示信息。

在一些實施例中，該方法還包括：將變更提示信息發送給目標用戶，以使目標用戶確定是否調整相關文件，其中，目標用戶為使用目標數據源所指示的數據的用戶。

在一些實施例中，響應于數據結構存在差異，生成變更提示信息，包括：響應于數據結構存在差異，確定存在差異的數據結構是否包含預設數據結構，其中，預設數據結構為影響用戶使用數據的數據結構；以及響應于確定包含預設數據結構，生成變更提示信息。

在一些實施例中，在將當前映射數據與歷史映射數據進行數據結構比較分析之后，該方法還包括：刪除歷史映射數據。

在一些實施例中，多個數據源包括以下至少兩種：關系型數據庫數據或數據庫服務器數據、非關系型數據庫數據或數據庫服務器數據、文件數據、云端數據。

在一些實施例中，獲取目標數據源所指示的源數據包括：通過相對應的應用程序接口API獲取源數據。

第二方面，本公開的一些實施例提供了一種數據集成裝置，包括：獲取單元，被配置成從多個數據源中，周期性獲取目標數據源所指示的源數據；映射單元，被配置成選取與目標數據源的類型相對應的數據映射方法，對當前獲取的源數據進行數據映射，得到當前映射數據；分析單元，被配置成將當前映射數據與歷史映射數據進行數據結構比較分析，其中，歷史映射數據為對上次獲取的目標數據源所指示的源數據進行數據映射而得到的映射數據；生成單元，被配置成響應于數據結構存在差異，生成變更提示信息。