[發明專利]一種大數據資產質量評估方法

有效

• 申請號: 201910366031.1
• 申請日: 2019-04-30
• 公開（公告）號: CN110070304B
• 公開（公告）日: 2023-06-27
• 發明（設計）人: 楊忠勛
• 申請（專利權）人: 深圳市乾數科技有限公司
• 主分類號: G06Q10/0639
• 分類號: G06Q10/0639
• 代理公司: 深圳市中科創為專利代理有限公司 44384
• 代理人: 彭西洋

本發明根據行業業務特點劃分數據場景，確定數據場景信息因子，然后定義數據配置基線用于判斷數據樣本有效性，然后計算各數據場景有效數據規模及有效數據比例系數，并利用場景信息因子加權計算數據有效指數，再根據有效數據比例系數計算數據多樣性指數，最后將數據有效指數和多樣性指數進行綜合計算得到數據質量指數。本發明技術方案從數據有效性和數據多樣性兩個主要維度綜合評估數據質量指數，提供了相對完整的數據質量評估方法，從宏觀到微觀均采用了相對通用的方法框架和靈活的處理策略，具有良好的應用擴展性，可以滿足不同行業數據質量評估的方案需求。本方案具可操作性較強，工程實踐價值高。

技術領域

本發明涉及資產評估技術領域，特別涉及一種大數據資產質量評估方法。

背景技術

在各行各業的企業長期運營過程中積累了大量數據，比如環境數據、設備數據、監控數據、傳感器數據、財務報表數據、消費類數據等等，這些數據不僅可以為公司運營提供決策依據，而且可以作為用于企業估值的無形資產重要組成部分。在大數據和人工智能時代，在一定意義上大數據比人工智能算法更重要，因此，數據資產和數據質量對企業當前和未來的價值有重要的影響。

基于以上考慮，近年來業界展開了數據資產及質量評估的相關研究，由于不同行業的數據內容和數據形式等方面存在較大差異，對數據資產質量等評估方法帶來一定困難，因此該課題當前尚處于研究階段。同時，數據評估相關的專利方面，在可操作性和方法通用性等方面還存在一定的改進空間，比如CN108805422A(一種數據評估模型訓練系統、數據評估平臺和方法)，該專利主要提出了基于行業知識圖譜確定評估指標，可以采用自動方式和人工方式構建知識圖譜，而并未說明如何利用知識圖譜的數據質量評估方法。再如CN106845846A(大數據資產評估方法)，該方案在數據場景多樣性方面未體現評估處理方式，而數據多樣性也是數據質量的重要組成部分，同時，數據樣本的性能參數也對數據質量有直接的影響，該方法未體現這一點。

發明內容

本發明的主要目的是提出一種大數據資產質量評估方法，旨在用于不同行業和不同類型(比如離散數據、序列數據)的數據資產質量評估，具有通用靈活、操作性強等技術特點，具有良好的工程實踐意義。

為實現上述目的，本發明提出的一種大數據資產質量評估方法，其特征在于，包括以下步驟：

步驟S1：數據場景劃分，根據行業的業務特點或通用規則，將大數據劃分成若干個數據場景，記為CaseSetBL＝{C₁,C₂,C₃…C_N},N表示數據場景總數；

步驟S2：場景信息因子定義，定義各數據場景的信息因子，記為CaseFactorSet＝{θ₁,θ₂,θ₃…θ_N}，所述場景信息因子設置為數據場景在業務運行過程中發生概率及獲取難度的綜合系數；

步驟S3：數據基線配置定義，包括：定義數據源基線配置和定義數據性能基線配置；

步驟S4：數據有效指數計算：計算各數據場景有效數據規模及有效數據比例系數，通過有效數據比例系數和場景信息因子加權計算數據有效指數；

步驟S5：數據多樣性指數計算：通過有效數據比例系數計算數據多樣性指數；

步驟S6：數據質量指數計算：將所述數據有效指數和數據多樣性指數進行綜合計算得到數據質量指數。

進一步地：步驟S3中：

a、定義數據源基線配置具體包括：

a.1、定義數據源基礎配置：