[發明專利]數據處理方法、裝置、服務器和存儲介質

有效

• 申請號: 201911343379.5
• 申請日: 2019-12-24
• 公開（公告）號: CN111090686B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 華鵬;謝明辰;康偉樂
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/27;G06F16/28
• 代理公司: 深圳翼盛智成知識產權事務所(普通合伙) 44300
• 代理人: 汪阮磊

1.一種數據處理方法，其特征在于，包括：

獲取目標算子、數據血緣網絡和目標數據實體集，所述目標數據實體集中包括多個目標數據實體，所述數據血緣網絡中包括多個節點，以及所述節點之間的流向線路；

在所述數據血緣網絡中確定目標節點，以及與所述目標節點相連的相關節點，所述目標節點對應目標數據實體，所述相關節點對應其他數據實體；

所述目標數據實體和實體關系信息均包括多個關鍵字段，根據所述目標節點和相關節點之間的流向線路，基于所述目標數據實體和所述其他數據實體的關鍵字段，生成所述目標數據實體和其他數據實體之間的實體關系信息；

采用所述目標算子提取所述目標數據實體和實體關系信息之間的不同關鍵字段的字段特征；

根據所述目標數據實體中的關鍵字段，以及所述不同關鍵字段的字段特征生成特征集合；

對所述特征集合中的特征進行評分預測，得到所述特征集合中特征的預測評分；

根據所述預測評分在特征集合中確定預測特征。

2.如權利要求1所述的數據處理方法，其特征在于，獲取目標算子、數據血緣網絡和目標數據實體集，包括：

獲取用戶的數據處理指令，以及數據庫集群的歷史操作信息；

基于所述數據處理指令確定目標算子和目標數據實體；

基于所述歷史操作信息構建數據血緣網絡。

3.如權利要求2所述的數據處理方法，其特征在于，獲取用戶的數據處理指令，以及數據庫集群的歷史操作信息，包括：

接收用戶觸發的數據處理指令；

從數據庫集群中的每個分布式數據庫中拉取針對所述數據實體的歷史操作信息；

所述基于所述歷史操作信息構建數據血緣網絡，包括：

根據所述歷史操作信息對數據實體進行流向分析，得到所述數據實體之間的流向線路；

基于所述數據實體以及數據實體之間的流向線路構建數據血緣網絡。

4.如權利要求3所述的數據處理方法，其特征在于，所述歷史操作信息包括數據實體中字段的字段操作信息，所述數據實體之間的流向線路包括字段與其他數據實體之間的流向線路，根據所述歷史操作信息對數據實體進行流向分析，得到所述數據實體之間的流向線路，包括：

根據所述字段操作信息查詢數據實體中與所述字段有依賴關系的所有其他數據實體；

基于所述依賴關系確定所述字段與其他數據實體之間的流向線路。

5.如權利要求1所述的數據處理方法，其特征在于，對所述特征集合中的特征進行評分預測，得到所述特征集合中特征的預測評分，包括：

對所述特征集合中的特征進行數據預處理，得到處理后特征；

采用評分模型計算所述處理后特征的預測評分。

6.如權利要求5所述的數據處理方法，其特征在于，所述評分模型包括線性相關模型和非線性相關模型，采用評分模型計算所述處理后特征的預測評分，包括：

采用所述線性相關模型計算所述處理后特征之間的線性相關度；

采用所述非線性相關模型計算所述處理后特征之間的非線性相關度；

基于所述線性相關度和非線性相關度確定所述處理后特征的預測評分。

7.如權利要求6所述的數據處理方法，其特征在于，基于所述線性相關度和非線性相關度確定所述處理后特征的預測評分之后，還包括：

基于所述線性相關度和非線性相關度生成處理后特征之間的相關度熱力圖；

展示所述處理后特征之間的相關度熱力圖。

8.如權利要求5所述的數據處理方法，其特征在于，所述評分模型包括過濾器模型、嵌入模型、包裹器模型其中任意一種。

9.如權利要求5所述的數據處理方法，其特征在于，對所述特征集合中的特征進行數據預處理，得到處理后特征，包括：

采用數據預處理操作對所述特征集合中的特征進行數據預處理，得到處理后特征，其中，所述數據預處理操作包括缺省值處理、特征向量化處理、方差過濾處理、去重處理。