[發明專利]一種大數據資產質量評估方法

有效

• 申請號: 201910366031.1
• 申請日: 2019-04-30
• 公開（公告）號: CN110070304B
• 公開（公告）日: 2023-06-27
• 發明（設計）人: 楊忠勛
• 申請（專利權）人: 深圳市乾數科技有限公司
• 主分類號: G06Q10/0639
• 分類號: G06Q10/0639
• 代理公司: 深圳市中科創為專利代理有限公司 44384
• 代理人: 彭西洋

1.一種大數據資產質量評估方法，其特征在于，包括以下步驟：

步驟S1：數據場景劃分，根據行業的業務特點或通用規則，將大數據劃分成若干個數據場景，記為CaseSetBL＝{C₁,C₂,C₃…C_N},N表示數據場景總數；

步驟S2：場景信息因子定義，定義各數據場景的信息因子，記為CaseFactorSet＝{θ₁,θ₂,θ₃…θ_N}，所述場景信息因子設置為數據場景在業務運行過程中發生概率及獲取難度的綜合系數；

步驟S3：數據基線配置定義，包括：定義數據源基線配置和定義數據性能基線配置；

步驟S4：數據有效指數計算：計算各數據場景有效數據規模及有效數據比例系數，通過有效數據比例系數和場景信息因子加權計算數據有效指數,

步驟S4具體包括：

a、數據樣本劃分：根據業務特點定義數據樣本的規格，根據數據樣本的規格，將各數據場景分別劃分為若干個數據樣本，總樣本數記為K；

b、數據源基礎配置評估：對于每個數據樣本i，處理如下：

根據數據樣本所包含的數據源集合DataItemSet和數據源基礎配置DataItemSetBL計算數據源基礎因子

如果則

否則：

其中，δ為數據源配置門限，取值0到1之間；

c、數據性能基礎配置評估

對于每個數據樣本，處理如下：

先根據DataPerfSetBL^(d)，d＝1,2…D，判斷每個基礎數據源是否滿足數據性能基礎配置，得到計算第d個基礎數據源滿足性能基礎配置要求的個數，記為X_d；

計算所有基礎數據源滿足數據性能基礎配置要求的總個數：

計算所有基礎數據源的性能配置要求總數：

計算數據性能基礎因子(Base?Data?Performance?Factor)：

如果

否則

其中，

ρ為數據基礎性能因子門限，取值0到1之間的效數；1.2為基礎數據性能因子門限最大保護值，可配置；

判斷每個性能相對基礎性能的滿足程度高低：

若中的某條性能要求與實際性能不一致，在的基礎上再乘以對應的性能補償系數μ：

μ的取值范圍在(0,2.0)，2.0為補償系數的最大保護值，可配置；

每條性能的補償系數μ取決于該條數據性能對業務的重要程度高低；

d、樣本場景分類：

對于滿足數據源基礎配置和數據性能基礎配置的每個數據樣本，根據數據場景劃分，采用機器學習的方法進行場景歸類，得到每種場景下的數據樣本集合；假設在場景分類后，每個子場景的樣本個數為{K₁,K₂…K_N}，而對于無法分類的樣本，不做為數據質量評估的樣本；

e、子場景數據源和數據性能修正：

對每個場景分類后的樣本，按照子場景數據源配置進一步評估，得到則子場景數據源修正后的數據源因子為：

對每個場景分類后的樣本，按照子場景數據性能配置進一步評估，得到則子場景數據性能修正后的數據性能因子為：

f、數據有效規模估計：

計算每個子場景的有效數據規模：

首先初始化每個場景的數據有效規模：

V_n＝0，n＝,1,2...N

對于每個樣本i，如果它屬于子場景n，則：

V_n＝V_n+DSF_i*DPF_i

g：數據有效指數估計：

對于待評估數據的所有數據場景，根據有效數據規模和數據場景信息因子，綜合計算出數據有效指數VI(Validity?Index)：

首先，判斷子場景數據是否納入數據有效指數估計：

如果V_n小于門限Thd_VI，則：

子場景n不納入數據有效指數計算，將V_n置為0；

其中：

門限Thd_VI取絕對值門限，或取相對值門限：

對于絕對值門限：

將Thd_VI設置為若干條有效數據規模；

對于相對門限：

設置為各子場景有效數據規模最大值的一定比例：

Thd_VI＝σ*max(V₁,V₂…V_N)

σ表示可配置門限比例系數，取值為0到1之間的小數；

然后，計算參與計算的子場景有效數據比例系數γ_n

最后，將各子場景有效數據規模和數據場景信息因子加權得到有效數據指數：

θ_n為第n個子場景的數據場景信息因子；

步驟S5：數據多樣性指數計算：通過有效數據比例系數計算數據多樣性指數；

步驟S5中，數據多樣性指數記為DI(Diversity?Index)：

根據各場景有效數據比例系數γ_n，通過線性運算計算數據多樣性指數DI：

或者采用其他非線性計算方法：

DI＝z(γ₁,γ₂…γ_N)；

步驟S6：數據質量指數計算：將所述數據有效指數和數據多樣性指數進行綜合計算得到數據質量指數。