[發明專利]數據的導入方法及裝置

有效

• 申請號: 201710641662.0
• 申請日: 2017-07-31
• 公開（公告）號: CN107463661B
• 公開（公告）日: 2021-04-27
• 發明（設計）人: 趙云志;秦鋒劍
• 申請（專利權）人: 綠灣網絡科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/25
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張潤

本發明提出一種數據的導入方法及裝置，其中，方法包括：獲取待導入數據庫的源數據集合，其中，源數據集合包括來源于多個數據源的多個源數據表；對多個源數據表進行數據結構識別，并根據識別結果對多個源數據表進行聚類，以獲取多組同構數據；獲取與每組同構數據對應的清洗與轉換規則；根據每組同構數據對應的清洗與轉換規則對每組同構數據進行處理，并將每組處理后的數據導入數據庫。本發明實施例提供方法，減少了人工重復操作，實現了對來源于多個數據源的多個源數據表的同時導入，提高了多數據源的源數據表的導入效率。

技術領域

本發明涉及計算機技術領域，尤其涉及一種數據的導入方法及裝置。

背景技術

在大數據平臺的構建中，一項最為繁瑣的工作就是從各種數據源中抽取、清洗和轉換各種異構數據。其中，數據源可能來自于不同的組織、不同的平臺、不同操作系統，這種多樣性造成了不規范的“臟數據”的大量存在，不規范的主要原因有：1)不同數據源數據存儲方式不同，有關系數據庫系統中的數據(如Mysql、oracle等)，有非結構化的文件數據(如Excel、文本文件等)還有半結構化的數據(如從網頁抓取的數據等)，即便是同一類存儲方式，數據類型結構可能也存在著差異。2)不同組織采用不同的數據標準，數據項的劃分、字段名稱、數據字典的定義、數據格式的表示、數據所在的定義域都存在差異。3)源數據與目標數據模型不一致，不同數據源在數據對象間關聯關系的建模方式上各不相同。

目前，對于大數據的處理，通常使用ETL(Extraction Transformation Loading，抽取轉換加載)過程將分布的、異構數據源中的數據進行清洗、轉換和集成，最后加載到目標數據庫中。異構數據源集成問題也是ETL所面臨的主要挑戰之一。目前主要采取統一元數據來進行異構數據的統一化管理。

在相關技術中，需要針對每種業務來源的數據進行大量的預處理，為每種數據結構人工配置數據清洗和轉換的規則，然后才能開始運行ETL過程。現有的數據導入系統往往只能一次配置一種類型的數據結構，并按照指定的規則將其導入到目標數據庫中，存在大量的重復工作，并且配置過程還會引入人為錯誤，增加失敗處理的成本。在互聯網數據每天大量產生的環境下，依靠人工配置難以做到多種類數據的實時獲取和利用，其效率是無法接受的。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明的第一個目的在于提出一種數據的導入方法，減少了人工重復操作，實現了對來源于多個數據源的多個源數據表的同時導入，提高了多數據源的源數據表的導入效率。

本發明的第二個目的在于提出一種數據的導入裝置。

本發明的第三個目的在于提出一種非臨時性計算機可讀存儲介質。

為達上述目的，本發明第一方面實施例提出了一種數據的導入方法，包括：獲取待導入數據庫的源數據集合，其中，所述源數據集合包括來源于多個數據源的多個源數據表；對所述多個源數據表進行數據結構識別，并根據識別結果對所述多個源數據表進行聚類，以獲取多組同構數據；獲取與每組同構數據對應的清洗與轉換規則；根據每組同構數據對應的清洗與轉換規則對每組同構數據進行處理，并將每組處理后的數據導入所述數據庫。

根據本發明的一個實施例，所述對所述多個源數據表進行數據結構識別，并根據識別結果對所述多個源數據表進行聚類，以獲取多組同構數據，包括：對每個源數據表中每列數據進行特征提取，以獲取每列數據的特征提取結果；針對每個源數據表，根據每列數據的特征提取結果確定每列數據的屬性類別；根據每個源數據表中每列數據的屬性類別分別確定每個源數據表中的實體；根據每個源數據表中的實體對多個源數據表進行聚類，以將具有相同實體的源數據表作為一組。

根據本發明的一個實施例，所述獲取與每組同構數據對應的清洗與轉換規則，包括：根據預先配置的分組與清洗和轉換規則的對應關系，獲取與每組同構數據對應的清洗與轉換規則。