[發明專利]數據的導入方法及裝置

有效

• 申請號: 201710641662.0
• 申請日: 2017-07-31
• 公開（公告）號: CN107463661B
• 公開（公告）日: 2021-04-27
• 發明（設計）人: 趙云志;秦鋒劍
• 申請（專利權）人: 綠灣網絡科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/25
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張潤

1.一種數據的導入方法，其特征在于，包括以下步驟：

獲取待導入數據庫的源數據集合，其中，所述源數據集合包括來源于多個數據源的多個源數據表；

對所述多個源數據表進行數據結構識別，并根據識別結果對所述多個源數據表進行聚類，以獲取多組同構數據；

獲取與每組同構數據對應的清洗與轉換規則；

根據每組同構數據對應的清洗與轉換規則對每組同構數據進行處理，并將每組處理后的數據導入所述數據庫；

所述對所述多個源數據表進行數據結構識別，并根據識別結果對所述多個源數據表進行聚類，以獲取多組同構數據，包括：

對每個源數據表中每列數據進行特征提取，以獲取每列數據的特征提取結果；

針對每個源數據表，獲取每列數據的表頭語意，并根據每列數據的表頭語意和特征提取結果確定每列數據的屬性類別；

根據每個源數據表中每列數據的屬性類別分別確定每個源數據表中的實體；

根據每個源數據表中的實體對多個源數據表進行聚類，以將具有相同實體的源數據表作為一組。

2.如權利要求1所述的方法，其特征在于，所述獲取與每組同構數據對應的清洗與轉換規則，包括：

根據預先配置的分組與清洗和轉換規則的對應關系，獲取與每組同構數據對應的清洗與轉換規則。

3.如權利要求1-2任一項所述的方法，其特征在于，在所述將每組處理后的數據導入所述數據庫時，所述方法還包括：

向用戶提供導入進度信息。

4.如權利要求1-2任一項所述的方法，其特征在于，所述將每組處理后的數據導入所述數據庫，包括：

按照預先為每組同構數據設置的導入優先級順序，將每組處理后的數據導入所述數據庫。

5.如權利要求1-2任一項所述的方法，其特征在于，在所述將每組處理后的數據導入所述數據庫之后，所述方法還包括：

向用戶提供導入結果，所述導入結果包括導入成功和失敗的數據行數，以及錯誤數據的詳細信息。

6.一種數據的導入裝置，其特征在于，包括：

第一獲取模塊，用于獲取待導入數據庫的源數據集合，其中，所述源數據集合包括來源于多個數據源的多個源數據表；

第一處理模塊，用于對所述多個源數據表進行數據結構識別，并根據識別結果對所述多個源數據表進行聚類，以獲取多組同構數據；

第二獲取模塊，用于獲取與每組同構數據對應的清洗與轉換規則；

第二處理模塊，用于根據每組同構數據對應的清洗與轉換規則對每組同構數據進行處理，并將每組處理后的數據導入所述數據庫；

所述第一處理模塊，包括：

提取單元，用于對每個源數據表中每列數據進行特征提取，以獲取每列數據的特征提取結果；

第一確定單元，用于針對每個源數據表，獲取每列數據的表頭語意，并根據每列數據的表頭語意和特征提取結果確定每列數據的屬性類別；

第二確定模塊，用于根據每個源數據表中每列數據的屬性類別分別確定每個源數據表中的實體；

聚類單元，用于根據每個源數據表中的實體對多個源數據表進行聚類，以將具有相同實體的源數據表作為一組。

7.如權利要求6所述的裝置，其特征在于，所述第二處理模塊，具體用于：

根據預先配置的分組與清洗和轉換規則的對應關系，獲取與每組同構數據對應的清洗與轉換規則。

8.如權利要求6-7任一項所述的裝置，其特征在于，在所述將每組處理后的數據導入所述數據庫時，所述裝置還包括：

第一提供模塊，用于向用戶提供導入進度信息。

9.如權利要求6-7任一項所述的裝置，其特征在于，所述第二處理模塊，具體用于：

按照預先為每組同構數據設置的導入優先級順序，將每組處理后的數據導入所述數據庫。