[發明專利]業務數據的處理方法、裝置和服務器

在審

• 申請號: 202110889334.9
• 申請日: 2021-08-04
• 公開（公告）號: CN113590604A
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 夏鵬
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/22;G06F16/23;G06F16/2455;G06F16/27;G06Q40/02
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 孫乳筍;劉熔

本說明書提供了業務數據的處理方法、裝置和服務器。基于該方法，在接收到新的目標業務數據后，可以先確定并根據基于文本字段的第一匹配度，確定新接收的目標業務數據是否屬于當前已有的預設業務數據；在根據第一匹配度無法確定目標業務數據是否屬于預設業務數據的情況下，再基于預設的取數規則，確定并根據基于數據值的第二匹配度，進一步確定該目標業務數據是否屬于預設業務數據，從而可以基于文本字段和數據值兩種不同的維度，高效、精準地確定出新接收的目標業務數據是否屬于已有的預設業務數據，能較好地適用于結構復雜的分布式數據處理系統，準確、有效地對該系統所接入的大量不同來源的業務數據進行數據統一和數據管理。

技術領域

本說明書屬于大數據處理技術領域，尤其涉及業務數據的處理方法、裝置和服務器。

背景技術

在大數據處理場景中，分布式數據處理系統每時每刻都會接收到不同數據源(例如，不同的來源機構)傳入的海量業務數據。

但是，由于不同數據源所使用的業務數據命名規則、業務數據處理方式、業務數據的統計口徑等存在差異，導致分布式數據處理系統往往無法準確地辨識出實質相同的業務數據，難以對所接收到的業務數據進行較為有效的數據統一和數據管理，進而容易出現對系統中實質相同的業務數據進行重復處理，導致系統中存儲的業務數據存在冗余、影響系統性能等技術問題。

針對上述問題，目前尚未提出有效的解決方案。

發明內容

本說明書提供了一種業務數據的處理方法、裝置和服務器，能較好地適用于結構復雜的分布式數據處理系統，能夠準確、有效地對該系統所接入的大量不同來源的業務數據進行數據統一和數據管理，避免對本質相同的業務數據進行重復處理。

本說明書實施例提供了一種業務數據的處理方法，包括：

獲取目標業務數據，以及目標業務數據的要素信息；其中，所述目標業務數據的要素信息至少包括目標業務數據的名稱字段和目標業務數據的業務定義文本；

根據所述目標業務數據的要素信息、預設的業務元數據表，計算目標業務數據與預設業務數據基于文本字段的第一匹配度；其中，所述預設的業務元數據表包含有業務數據庫中保存的多個預設業務數據的要素信息和關聯信息；

根據所述第一匹配度，確定所述目標業務數據是否屬于預設業務數據；并在根據第一匹配度確定所述目標業務數據屬于待定數據的情況下，確定出目標業務數據的相似業務數據；

根據預設的取數規則，通過與分布式存儲系統進行相應交互，確定出目標業務數據與相似業務數據基于數據值的第二匹配度；

根據所述第二匹配度，確定所述目標業務數據是否屬于預設業務數據。

在一些實施例中，所述預設業務數據的關聯信息包括以下至少之一：預設業務數據的來源機構的機構標識、共享預設業務數據的應用的應用標識、預設業務數據的取數應用的應用標識、存儲預設業務數據的數據值的子系統的系統標識、預設業務數據的屬性類型標識。

在一些實施例中，根據所述目標業務數據的要素信息、預設的業務元數據表，計算目標業務數據與預設業務數據基于文本字段的第一匹配度，包括：

統計并根據目標業務數據的名稱字段與預設業務數據的名稱字段中相同字符的數量，確定第一匹配參數；

確定目標業務數據的業務定義文本與預設業務數據的業務定義文本的相似度，作為第二匹配參數；

根據所述第一匹配參數和第二匹配參數，確定目標業務數據與預設業務數據基于文本字段的第一匹配度。

在一些實施例中，根據所述第一匹配度，確定所述目標業務數據是否屬于預設業務數據，包括：