[發明專利]系統測試方法和裝置

有效

• 申請號: 202010373219.1
• 申請日: 2020-05-06
• 公開（公告）號: CN111538671B
• 公開（公告）日: 2023-06-16
• 發明（設計）人: 史俊杰;陳元豐;晏意林;黃高峰;謝翔;李升林;孫立林
• 申請（專利權）人: 矩陣元技術（深圳）有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36;G06F21/57
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 周達;劉飛

本申請提供了一種系統測試方法和裝置，其中，該方法包括：獲取樣本數據集和目標計算邏輯；采集樣本數據集在明文狀態下根據目標計算邏輯計算得到的明文計算結果；在根據樣本數據集和目標計算邏輯重復運行目標隱私計算系統預設次數之后，確定所述目標隱私計算系統重復運行預設次數得到的多個密文計算結果對應的明文計算結果的表征值，其中，預設次數大于1；根據所述表征值和明文計算結果驗證所述目標隱私計算系統計算結果的正確性。在本申請實施例中，將上述表征值與不考慮數據隱私性的明文計算結果比較以驗證系統計算結果的正確性，并且可以利用對外通訊流量驗證系統的安全性，從而可以有效提高對目標隱私計算系統進行測試的結果的可靠性。

技術領域

本申請涉及數據處理技術領域，特別涉及一種系統測試方法和裝置。

背景技術

人工智能技術是一種可以通過統計、機器學習算法等從海量數據中自動提取出反應數據內在規律的新技術，而海量的數據獲取和管理是進行人工智能的前提基礎。在現實中，完整、大量的數據通常是分布在多個機構或者各個個體的手中的，并且這些數據由于涉及商業利益、數據隱私性等因素，往往不可以直接的進行明文的分享、交互。安全多方計算(MPC)可以基于可靠的密碼學理論為多參與方在多份數據上進行聯合計算時保障各自數據不會泄露給其他人的同時計算得到所需要的結果。一種可行的方法是在基于TensorFlow機器學習框架，在多方共同處理計算邏輯圖的過程中動態的對原來針對明文數據進行的操作算子(OP)替換為MPC下針對密文狀態的數據處理的隱私化操作算子(MPC?OP)，根據上述技術組合得到的系統一般稱為基于MPC的隱私計算系統。

在基于MPC的隱私計算系統的實現和運行過程中，由于是多方參與、各方處理的數據都處于密文而非有語義、可理解的明文狀態，所以需要對該系統的正確性、安全性進行理論上的分析以及實際有效、易用的驗證方案。只有在對上述隱私計算系統的計算結果的正確性和計算過程的安全性進行驗證之后，才能實際的將其可靠的部署到各參與方的線上系統中。

現有技術中已有一些針對分布式系統的自動化測試框架，例如：SOFAACTS、Robot框架等。但是由于使用了MPC技術的隱私計算系統中各個組件本地所能看到的都是本地的密文值，無法獨立、自動的進行計算結果的正確性驗證，更加無法在計算交互的全過程中對可能存在的數據泄露情況進行分析，從而使得現有技術中的針對分布式系統的自動化測試框架無法直接應用到基于MPC的隱私計算系統中去。

進一步的，當前處理類似問題使用的針對分布式系統的自動化安全驗證技術主要驗證的是系統中是否存在網絡安全等方面的問題，而非針對數據本身可能存在的泄露風險進行自動化的測試驗證，從而無法針對隱私計算系統本身的特性進行測試驗證。并且上述針對分布式系統的自動化安全驗證技術的框架所采用的測試技術主要是提供通用性的測試部署、數據模型生成、測試腳本輔助生成等功能，應用到基于MPC的隱私計算系統中需要大量改造。而一般通用型分布式系統的自動化測試技術即使被定制化改造后也只能針對基于MPC的隱私計算方案的最終結果進行復雜的比對(在計算機測試中，稱這種測試方式為“黑盒測試”)，這種關注外部最終直接結果的測試方式存在覆蓋全部可能的輸入困難、難以定位問題模塊等明顯的缺陷。因此，采用現有技術中的技術方案無法可靠地針對隱私計算系統的正確性進行測試。

針對上述問題，目前尚未提出有效的解決方案。

發明內容

本申請實施例提供了一種系統測試方法和裝置，以解決現有技術中無法可靠地針對隱私計算系統的正確性進行系統測試的問題。