[發明專利]一種分布式數據處理方法及系統

在審

• 申請號: 202110183631.1
• 申請日: 2021-02-08
• 公開（公告）號: CN112966279A
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 王森;聶二保
• 申請（專利權）人: 北京金山云網絡技術有限公司
• 主分類號: G06F21/60
• 分類號: G06F21/60;G06F21/71
• 代理公司: 北京華夏泰和知識產權代理有限公司 11662
• 代理人: 張麗穎;沈園園

本申請涉及一種分布式數據處理方法及系統，其中方法包括：獲取用于進行計算的待處理信息，待處理信息中包括至少兩個變量信息；獲取來自于算法處理服務器的運算流程中各運算步驟對應的運算數據；根據運算數據及變量信息生成各第一運算節點對應的運算控制信息；根據第一節點標識將運算控制信息發送到第一運算節點；以使第一運算節點根據運算控制信息計算得到運算結果，并將運算結果根據第二節點標識發送至第二運算節點；獲取最終運算節點計算得到最終結果。可以使運算步驟由多個運算節點進行，使每個運算節點都只能獲取部分算法以及單個變量信息，而無法獲取算法以及待處理信息的全貌，可以有效避免算法被破解，并避免待處理信息外泄。

技術領域

本申請涉及數據處理技術領域，尤其涉及一種分布式數據處理方法及系統。

背景技術

為了能在數字資產領域很好的完成風險定價，新興金融機構、傳統金融機構都開始注重基于大數據的信用風險定價模型的開發和實施，甚至以此為基礎，出現了很多專門進行這類模型設計并提供相關服務的金融科技公司，并在金融領域中占有越來越重要的地位。現有技術方案存在的問題，主要如下：

1.模型的非授權使用問題

若模型在數據提供方的環境中運行，導致數據提供方無需模型提供方的授權，隨時可以使用模型。

2.模型邏輯困難，容易被通過“倒推”而破解

數據提供方擁有完整的模型運算過程，雖然這個過程可以是黑箱，但入參和出參對數據提供方來說是清晰的，即使是模型提供方通過增加“噪聲”的方式進行一定程度的防破解，往往也不一定能完全做到不能破解。

針對相關技術中存在的諸多技術問題，目前尚未提供有效的解決方案。

發明內容

為了解決上述技術問題或者至少部分地解決上述技術問題，本申請提供了一種分布式數據處理方法及系統。

第一方面，本申請實施例提供了一種分布式數據處理方法，包括：

獲取用于進行計算的待處理信息，所述待處理信息中包括至少兩個變量信息；

獲取來自于算法處理服務器的運算流程中各運算步驟對應的運算數據，所述運算數據包括：所述運算步驟對應的運算法則、執行所述運算步驟的第一運算節點的第一節點標識以及用于接收所述運算步驟運算結果的第二運算節點的第二節點標識；

根據所述運算數據及所述變量信息生成各第一運算節點對應的運算控制信息；

根據所述第一節點標識將所述運算控制信息發送到所述第一運算節點；以使所述第一運算節點根據所述運算控制信息計算得到所述運算結果，并將所述運算結果根據所述第二節點標識發送至所述第二運算節點；

獲取最終運算節點計算得到最終結果；其中，所述最終運算節點為所述運算流程中的最后一個運算節點。

可選的，如前述的方法：所述根據所述運算數據及所述變量信息生成各第一運算節點對應的運算控制信息，包括：

查詢得到所述變量信息對應的算法序列，并根據所述變量信息以及對應的算法序列生成運算單元；

確定各個所述運算單元對應的所述運算數據；

根據所述運算數據及所述運算單元生成各第一運算節點對應的運算控制信息。

可選的，如前述的方法，所述根據所述第一節點標識將所述運算控制信息發送到所述第一運算節點，包括：

將所述運算控制信息按照預設的加密策略進行加密，得到加密信息；

將所述加密信息發送到所述第一運算節點，以使所述第一運算節點按照與所述加密策略對應的解密策略對所述加密信息進行解密，得到所述運算控制信息。