[發明專利]一種數據影響度分析方法、裝置、電子設備及存儲介質

在審

• 申請號: 202011026439.3
• 申請日: 2020-09-25
• 公開（公告）號: CN112115124A
• 公開（公告）日: 2020-12-22
• 發明（設計）人: 韓小強
• 申請（專利權）人: 平安國際智慧城市科技股份有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/245;G06F16/28;G16H50/00;G16H10/60
• 代理公司: 深圳市智勝聯合知識產權代理有限公司 44368
• 代理人: 齊文劍

1.一種數據影響度分析方法，其特征在于，包括：

建立元數據對象之間的數據關系；

獲取當前元數據對象；

查找與所述當前元數據對象相同的歷史元數據對象；

將所述數據關系中，所述歷史元數據對象對應的數據關系，確定為所述當前元數據對象對應的當前數據關系；

根據所述當前數據關系生成元數據影響度分析結果；所述元數據影響度分析結果包括但不限于元數據屬性變化的業務影響、數據問題范圍警告及業務數據錯誤源定位。

2.根據權利要求1所述的方法，其特征在于，所述建立元數據對象之間的數據關系包括：

獲取用于建立所述元數據對象之間的依賴性關系的樣本數據，所述樣本數據包括sql文件、加工文件、存儲過程日志文件和hive的運行日志文件；

依據所述樣本數據確定所述元數據對象之間依賴性的數據關系。

3.根據權利要求2所述的方法，其特征在于，建立元數據對象之間的數據關系包括：

獲取用于建立所述元數據對象之間的數據關系的樣本數據；

分析所述元數據對象的特性及其規律，根據所述特性及其規律，確定所述人工智能模型的模型結構及其模型參數；

使用所述樣本數據，對所述模型結構和所述模型參數進行訓練和測試，確定所述元數據對象之間的數據關系模型。

4.根據權利要求3所述的方法，其特征在于，所述獲取用于建立所述元數據對象之間的數據關系的樣本數據包括：

收集元數據的加工記錄和元數據對象之間的原始數據關系；

對所述元數據的加工記錄進行分析，選取與所述元數據對象之間的原始數據關系相關的數據作為所述元數據的加工記錄數據；

將所述元數據對象之間的原始數據關系和所述元數據的加工記錄數據構成數據對，作為樣本數據。

5.根據權利要求4所述的方法，其特征在于，對所述模型結構和所述模型參數進行訓練包括：

選取所述樣本數據中的一部分數據作為訓練樣本，將所述訓練樣本中的所述元數據對象輸入到所述模型結構，通過所述模型結構的損失函數、激活函數和所述模型參數進行訓練，得到訓練后的模型結構和模型參數；

確定所述訓練后的模型結構和模型參數與所述訓練樣本中的相應元數據對象之間的數據關系的實際訓練誤差在預設訓練誤差范圍內；

當所述實際訓練誤差在所述預設訓練誤差范圍內，確定對所述模型結構和所述模型參數的所述訓練完成。

6.根據權利要求5所述的方法，其特征在于，對所述模型結構和所述模型參數進行測試，包括：

選取所述樣本數據中的另一部分數據作為測試樣本，將所述測試樣本中的所述元數據對象輸入到所述訓練完成的所述模型結構中，以所述損失函數、激活函數和所述訓練完成的所述模型參數進行測試，得到測試后的模型結構和模型參數；

確定所述測試后的模型結構和模型參數與所述測試樣本中的相應元數據對象之間的數據關系的實際測試誤差是否在設定測試誤差范圍內；

當所述實際測試誤差在所述設定測試誤差范圍內，確定對所述模型結構和所述模型參數的所述測試完成。

7.根據權利要求6所述的方法，其特征在于，對所述模型結構和所述模型參數進行訓練還包括：

當所述實際訓練誤差不滿足所述設定訓練誤差時，通過所述模型結構的誤差損失函數更新所述模型參數；

通過所述模型結構的所述損失函數、激活函數和更新后的所述模型參數進行重新訓練，直至所述重新訓練后的實際訓練誤差滿足所述設定訓練誤差；

和/或，

對所述模型結構和所述模型參數進行測試，還包括：

當所述實際測試誤差不滿足所述設定測試誤差時，對所述模型結構和所述模型參數進行重新訓練，直至所述重新訓練后的實際測試誤差滿足所述設定測試誤差。