[發明專利]多源異構數據處理方法及裝置

有效

• 申請號: 202010492097.8
• 申請日: 2020-06-03
• 公開（公告）號: CN111400392B
• 公開（公告）日: 2020-08-21
• 發明（設計）人: 顧凌云;郭志攀;王凱;王軒
• 申請（專利權）人: 上海冰鑒信息科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 成都頂峰專利事務所(普通合伙) 51224
• 代理人: 李通

本申請實施例提供一種多源異構數據處理方法及裝置，通過確定多源異構數據的待處理數據源和每個待處理數據源下的待轉換字段的字段數據，然后，從預先配置的轉換字段庫中，確定每個待處理數據源下的待轉換字段在目標數據維度的目標標準屬性字段。接著，將每個待處理數據源下的待轉換字段轉換為相對應的目標標準屬性字段，得到每個待處理數據源下的目標標準屬性字段的字段數據，由此合成目標數據維度的多源異構標準數據。如此，能夠將不同數據源提供的待轉換字段的字段數據抽象出標準統一的多源異構標準數據，提高數據匯總時字段數據的使用體驗，并且改善字段數據的完整性。

技術領域

本申請涉及數據處理技術領域，具體而言，涉及一種多源異構數據處理方法及裝置。

背景技術

目前，現有的企業相關數據通常都是由各個數據源的企業數據提供商提供的，例如可以包括工商、無形資產、司法、行政負面等多個數據維度，通常每個數據維度的各個數據字段都是各個數據源的企業數據提供商定義的。然而，經本申請發明人研究發現，不同數據源廠商定義的數據字段不盡相同，導致在進行數據匯總時字段數據使用困難，同時字段數據也不完整。

發明內容

有鑒于此，本申請的目的在于提供一種多源異構數據處理方法及裝置，能夠將不同數據源提供的待轉換字段的字段數據抽象出標準統一的多源異構標準數據，提高數據匯總時字段數據的使用體驗，并且改善字段數據的完整性。

根據本申請的第一方面，提供一種多源異構數據處理方法，應用于與用戶終端通信連接的服務器，所述方法包括：

獲取目標數據維度的多源異構數據，并確定所述多源異構數據的待處理數據源和每個待處理數據源下的待轉換字段的字段數據；

從預先配置的轉換字段庫中，確定每個待處理數據源下的待轉換字段在所述目標數據維度的目標標準屬性字段，其中，所述預先配置的轉換字段庫包括每個預設數據源在不同數據維度的標準屬性字段下相對應的可轉換字段；

將所述每個待處理數據源下的待轉換字段轉換為相對應的目標標準屬性字段，得到所述每個待處理數據源下的目標標準屬性字段的字段數據；

根據所述每個待處理數據源下的目標標準屬性字段的字段數據合成所述目標數據維度的多源異構標準數據。

在第一方面的一種可能的實施方式中，所述方法還包括配置每個預設數據源在不同數據維度的標準屬性字段下相對應的可轉換字段的步驟，具體包括：

獲取待標準化的數據維度，以及不同預設數據源在每個待標準化的數據維度下的數據字段；

獲取每個待標準化的數據維度所對應的有效字段內容，確定每個待標準化的數據維度下的標準屬性字段，并根據標準屬性字段的語義分析結果，確定每個預設數據源在標準屬性字段下相對應的可轉換字段；

建立每個數據源在不同數據維度對應的標準屬性字段下相對應的可轉換字段。

在第一方面的一種可能的實施方式中，所述根據標準屬性字段的語義分析結果，確定每個預設數據源在標準屬性字段下相對應的可轉換字段的步驟，包括：

獲取標準屬性字段的語義分析結果，并查找網絡公開數據庫中與所述語義分析結果匹配的匹配字段序列；

從針對所述匹配字段序列的選擇操作指令中，確定每個預設數據源在標準屬性字段下相對應的可轉換字段。

在第一方面的一種可能的實施方式中，所述根據所述每個待處理數據源下的目標標準屬性字段的字段數據合成所述目標數據維度的多源異構標準數據的步驟，包括：

針對每個待處理數據源，根據所述目標數據維度所對應的預設去重字段，分別對該待處理數據源下的目標標準屬性字段的字段數據進行第一次去重處理，得到該待處理數據源下去重處理后的目標標準屬性字段的字段數據；