[發明專利]數據源處理方法、裝置、電子設備及存儲介質

在審

• 申請號: 201911196452.0
• 申請日: 2019-11-27
• 公開（公告）號: CN110909061A
• 公開（公告）日: 2020-03-24
• 發明（設計）人: 張波
• 申請（專利權）人: 恩億科（北京）數據科技有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/23;G06F16/2455
• 代理公司: 北京超成律師事務所 11646
• 代理人: 孔默

本申請實施例提供了一種數據源處理方法、裝置、電子設備及存儲介質，其中，該數據源處理方法包括以下步驟：接入多個數據源，并給每一所述數據源設置一個標識信息，所述標識信息包括數據源名稱以及其規則標識；獲取規則變更信息，所述規則變更信息攜帶有待變更規則的數據源的數據源名稱以及變更后的目標規則的目標規則標識；根據所述規則變更信息將所述標識信息將對應的數據源的規則修改為所述目標規則；根據所述目標規則對所述數據源進行處理以輸出目標數據；從而實現對數據源的數據處理，可以提高數據源的規則更新的實時度。

技術領域

本申請涉及數據處理領域，具體而言，涉及一種數據源處理方法、裝置、電子設備及存儲介質。

背景技術

隨著大數據相關技術的深入發展，大型企業的數據源多種多樣，在使用大數據技術來支持公司業務的過程中必然需要將數據經過采集、標準化、入庫。在對數據源的處理上，不同的數據源由于可能具有不同的規則，也即是處理邏輯不相同，因此，采取的處理方式也不盡相同。對不同的數據源進行處理時，需要將不同的數據源經過預處理成某種特定的約定格式，然后進行統一處理。然而，在涉及數據源規則變更并基于變更后的規則來提取目標數據時，現有技術無法做到實時更新，或者快速更新。

針對上述問題，目前尚未有有效的技術解決方案。

發明內容

本申請實施例的目的在于提供一種數據源處理方法、裝置、電子設備及存儲介質，可以提高數據源規則的更新實時度。

第一方面，本申請實施例提供了一種數據源處理方法，包括：

接入多個數據源，并給每一所述數據源設置一個標識信息，所述標識信息包括數據源名稱以及其規則標識；

獲取規則變更信息，所述規則變更信息攜帶有待變更規則的數據源的數據源名稱以及變更后的目標規則的目標規則標識；

根據所述規則變更信息將所述標識信息將對應的數據源的規則修改為所述目標規則；

根據所述目標規則對所述數據源進行處理以輸出目標數據。

在本申請實施例中，通過將數據源的數據源名稱以及規則標識進行關聯，使得在對數據源進行規則變更時，可以直接基于數據源名稱及規則標識來實現對數據源的規則進行快速更改，可以提高數據源規則的更新實時度。

可選地，在本申請實施例所述的數據源處理方法中，所述根據所述目標規則對所述數據源進行處理以輸出目標數據的步驟包括：

對所述數據源進行解析以獲取所述數據源的數據結構；

根據所述目標規則以及所述數據結構獲取所述數據源中多個待處理數據的位置信息；

根據所述位置信息調用所述待處理數據，并根據所述目標規則對所述待處理數據進行處理以得到目標數據。

本申請實施例通過對數據源進行解析，從而獲取到數據源的數據結構，并基于該數據結構以及目標規則來快速進行數據處理，可以提高數據處理的效率。

可選地，在本申請實施例所述的數據源處理方法中，所述根據所述位置信息調用所述待處理數據，并根據所述目標規則對所述待處理數據進行處理以得到目標數據的步驟包括：

根據所述目標規則獲取多個處理邏輯；

根據每一所述處理邏輯以及所述位置信息調用對應的多個待處理數據；

根據每一所述處理邏輯以及對應的待處理數據計算得到目標數據。

本申請實施例通過對目標規則進行分解成多個處理邏輯，并基于各個處理邏輯進行快速數據處理，可以實現具有多種處理邏輯的目標規則的數據處理。

可選地，在本申請實施例所述的數據源處理方法中，所述方法還包括以下步驟：