[發明專利]基于差分隱私的決策樹建模方法、預測方法、設備及介質

有效

• 申請號: 202111085147.1
• 申請日: 2021-09-16
• 公開（公告）號: CN113705727B
• 公開（公告）日: 2023-05-12
• 發明（設計）人: 謝世茂;王耀樂;李開宇
• 申請（專利權）人: 四川新網銀行股份有限公司
• 主分類號: G06F18/2431
• 分類號: G06F18/2431;G06F18/214;G06F21/62;G06F21/60;G06N20/20
• 代理公司: 成都行之專利代理事務所(普通合伙) 51220
• 代理人: 梁田

本發明公開了基于差分隱私的決策樹建模方法、預測方法、設備及介質，該決策樹建模方法利用差分隱私保護一階導數和二階導數，通過產生隨機浮點數Δrate，只會隨機發送一部分導數到被動方，被動方無法通過收到的一階導數和二階導數進行反推標簽y，同時因為主動方知道Δrate的具體值，所以主動方可以通過Δrate將被動方返還的各個分箱的導數和還原，從而不影響計算最佳切分點。該決策樹預測方法包括獲取待測樣本，并將待測樣本輸入至決策樹分類模型中，以通過決策樹分類模型獲得待測樣本的預測分類結果；所述決策樹分類模型采用所述決策樹建模方法構建得到的決策樹分類模型。本發明避免了密文計算，大大降低了CPU開銷和網絡開銷。

技術領域

本發明涉及人工智能領域、數據保護技術領域，具體涉及基于差分隱私的決策樹建模方法、預測方法、設備及介質。

背景技術

目前數據隱私安全越來越受到重視，但是人工智能的模型的精度則很大程度上依賴于數據的維度。在個人隱私數據保護以及商業利益的共同驅動下，誕生了聯邦學習技術。該技術能夠在不使用個人隱私數據的情況下完成機器學習建模。

在聯邦學習實現的眾多模型中，最常用的算法模型就是secureboost。該算法是xgboost算法的聯邦學習版本，是一種集成多棵決策樹的聯合建模方法，該方法于2019年年底由微眾銀行提出。

在原有的解決方案當中，為了保障建模的主動方不泄露標簽y，主動方發送給合作方的一階導數g以及二階導數h均采用同態加密算法加密后發送，被動方此時由于沒有解密私鑰，無法通過[[g]]和[[h]]反推主動方的標簽列y，但被動方可以計算各個分桶的一階導數的和以及二階導數的和。求得各個分桶的導數和信息之后返還給主動方，主動方解密后就能計算各個分位點帶來的增益gain，從而指導決策樹的分裂。

現有的方案有如下缺陷：

1、主動方需要將所有數據的一階導數g以及二階導數h的密文[[g]]以及[[h]]發送至合作方，按照一般的加密標準1024bit計算，每行數據至少發送兩個密文，也就是256字節。當訓練數據規模較大時，網絡帶寬壓力很大。

2、被動方需要對每個分箱當中的[[g]]和[[h]]進行求和，這里因為[[g]]和[[h]]均為密文，所以只能使用同態加密求和，按照一般較為通用的同態加密算法paillier的實現來看，求和的具體操作是將密文進行相乘，并且再對公鑰當中的n^2取余。而密文是一個大數，大數的乘法以及取余均會消耗大量的計算資源。

發明內容

本發明所要解決的技術問題是現有基于聯邦學習的決策樹建模方法中主動方發送給合作方的一階導數g以及二階導數h均采用同態加密算法加密后發送，當訓練數據規模較大時，存在網絡帶寬壓力大的缺陷；被動方需要對每個分箱當中的[[g]]和[[h]]進行求和，只能使用同態加密求和，存在計算資源消耗量大、執行速度慢等問題。

本發明目的在于提供基于差分隱私的決策樹建模方法、預測方法、設備及介質，本發明的決策樹建模方法采用差分隱私的思路，不再使用同態加密之后的結果給被動方，而是給g和h的一部分到被動方，此時被動方收到的數據不再是密文而是一個浮點數，通信量大大減少，一般一個浮點數只有8字節，根據實驗結果，傳輸數據量僅為現有技術方案的10％。另外被動方由于接收到的是浮點數，也避免了執行同態加密加法，而只需要進行浮點數加法即可，根據實驗結果顯示，決策樹的執行速度提升了3.5倍左右。

本發明通過下述技術方案實現：

第一方面，本發明提供了基于差分隱私的決策樹建模方法，該決策樹建模方法應用于進行聯邦學習和差分隱私的第一設備，第一設備采用聯邦學習和差分隱私與第二設備進行交互，所述第一設備作為主動方，第二設備作為被動方；該決策樹建模方法包括：