[發明專利]數據成本計算方法、系統、計算機設備和存儲介質

有效

• 申請號: 202011132525.2
• 申請日: 2020-10-21
• 公開（公告）號: CN112256720B
• 公開（公告）日: 2021-08-17
• 發明（設計）人: 陳玉;張茜;凌海挺;劉麗揚
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F16/2458;G06F16/28;G06Q40/02
• 代理公司: 深圳國新南方知識產權代理有限公司 44374
• 代理人: 張曾明

1.一種基于數據血緣的數據成本計算方法，其特征在于，所述數據成本計算方法包括：

獲取數據加工過程中使用的SQL語句或者數據加工過程中使用的腳本，并通過SQL語句或加工腳本中所包含的SQL語句生成數據血緣關系，所述數據血緣關系形成有向無環圖；

獲取數據平臺任務執行的統計信息和頻率信息，并對應到有向無環圖中，所述統計信息包括每次任務的資源使用量，所述資源使用量包括存儲用量、CPU用量和內存用量；所述頻率信息包括任務的歷史執行次數和執行的起止時間；

計算有向無環圖中目標數據相關的節點的成本和邊的成本，所述計算有向無環圖中目標數據相關的節點的成本包括：∑_idistinct{S_i}+S_k，其中，S_i表示相關節點所占用的存儲資源成本，distinct{S_i}表示只計算一次相關節點所占用的存儲資源成本，S_k表示目標數據的存儲成本；所述計算有向無環圖中目標數據相關的邊的成本：其中，N_Lp表示與目標數據相關邊的數量，X_pq表示每條加工指令每次所消耗的資源的成本，count(L_x)表示每個加工指令對應有向無環圖中邊的數量；

獲取所述邊和節點的成本，并進行累加以得到目標數據總成本。

2.如權利要求1所述的數據成本計算方法，其特征在于，根據數據平臺的不同，引入數據平臺資源使用量的單價參數；在數據成本的計算過程中，所述節點的成本為存儲成本，所述邊的成本為CPU和內存的成本。

3.如權利要求1所述的數據成本計算方法，其特征在于，所述獲取所述邊和節點的成本，并進行累加以得到目標數據總成本，包括：其中，C_k表示目標數據總成本。

4.如權利要求1所述的數據成本計算方法，其特征在于，所述加工腳本中所包含的SQL語句生成數據血緣關系，所述數據血緣關系形成有向無環圖包括：

從含有SQL代碼的腳本文件中提取得到規則化的SQL語句，完成對SQL語句的清洗；

對規則化的SQL語句進行詞法分析，生成數據血緣關系，并根據數據血緣關系生成有向無環圖。

5.如權利要求1所述的數據成本計算方法，其特征在于，所述得到目標數據總成本之后，將所述目標數據總成本上傳至區塊鏈中，以使得所述區塊鏈對所述目標數據總成本進行加密存儲。

6.一種基于數據血緣的數據成本計算系統，其特征在于，所述數據成本計算系統包括：

數據集模塊，用于獲取數據加工過程中使用的SQL語句或者數據加工過程中使用的腳本，并通過SQL語句或加工腳本中所包含的SQL語句生成數據血緣關系，所述數據血緣關系形成有向無環圖；

信息模塊，用于獲取數據平臺任務執行的統計信息和頻率信息，并對應到有向無環圖中，所述統計信息包括每次任務的資源使用量，所述資源使用量包括存儲用量、CPU用量和內存用量；所述頻率信息包括任務的歷史執行次數和執行的起止時間；

第一計算模塊，用于計算有向無環圖中目標數據相關的節點的成本和邊的成本，所述計算有向無環圖中目標數據相關的節點的成本包括：∑_idistinct{S_i}+S_k，其中，S_i表示相關節點所占用的存儲資源成本，distinct{S_i}表示只計算一次相關節點所占用的存儲資源成本，S_k表示目標數據的存儲成本；所述計算有向無環圖中目標數據相關的邊的成本：其中，N_Lp表示與目標數據相關邊的數量，X_pq表示每條加工指令每次所消耗的資源的成本，count(L_x)表示每個加工指令對應有向無環圖中邊的數量；

第二計算模塊，用于獲取所述邊和節點的成本，并進行累加以得到目標數據總成本。