[發(fā)明專利]基于同態(tài)加密的安全遷移學習系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110134461.8
• 申請日: 2021-02-01
• 公開（公告）號: CN112822005B
• 公開（公告）日: 2022-08-12
• 發(fā)明（設(shè)計）人: 楊旸;黃欣迪;池升恒
• 申請（專利權(quán)）人: 福州大學
• 主分類號: H04L9/00
• 分類號: H04L9/00;H04L9/08;G06F21/60;G06F21/62;G06K9/62;G06N20/00
• 代理公司: 福州元創(chuàng)專利商標代理有限公司 35100
• 代理人: 陳明鑫;蔡學俊

本發(fā)明涉及一種基于同態(tài)加密的安全遷移學習系統(tǒng)。該系統(tǒng)圍繞云外包場景中遷移機器學習的隱私泄露問題，設(shè)計了基于雙云服務(wù)器模型(存儲云服務(wù)器+計算云服務(wù)器)的加密TrAdaboost訓練和預(yù)測算法。一方面，該系統(tǒng)的源域和目標域數(shù)據(jù)擁有者將加密的訓練數(shù)據(jù)分別上傳到云端，由云服務(wù)器以隱私保護的方式訓練出TrAdaboost模型；另一方面，該系統(tǒng)的請求用戶將加密的數(shù)據(jù)樣本發(fā)送給云服務(wù)器以請求安全的預(yù)測服務(wù)，然后云服務(wù)器返回加密的預(yù)測分類結(jié)果。該系統(tǒng)不會將用戶(包括數(shù)據(jù)擁有者和預(yù)測請求者)的訓練和預(yù)測請求數(shù)據(jù)、訓練模型、預(yù)測結(jié)果以及中間計算結(jié)果泄露給云端或非授權(quán)用戶。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于同態(tài)加密的安全遷移學習系統(tǒng)。

背景技術(shù)

云計算為個人或公司交付計算服務(wù)(包括數(shù)據(jù)存儲、計算、軟件、數(shù)據(jù)分析等)，給用戶帶來了極大的便利并降低了軟件搭建或運營成本。由于云計算強大的算力和存儲能力、高可靠性、按需服務(wù)等特性，目前已被廣泛應(yīng)用于大數(shù)據(jù)分析、數(shù)據(jù)備份、軟件開發(fā)測試及管理等現(xiàn)實領(lǐng)域。同時，機器學習(包括遷移學習)的高速發(fā)展也得益于云計算的支撐。技術(shù)研究者或使用者將復(fù)雜的智能計算任務(wù)外包給云服務(wù)器，由云服務(wù)器進行高效的計算并將計算結(jié)果返回給用戶，使得用戶能夠在資源受限的個人計算機或移動設(shè)備上高效穩(wěn)定地完成機器學習計算。

近年來，機器學習已被應(yīng)用于現(xiàn)實生活中的許多領(lǐng)域，例如面部或語音識別、醫(yī)學診斷、財務(wù)分析以及智能家居等。遷移學習將“類比學習”的思想融入機器學習中，并獲得越來越多研究人員的關(guān)注。其旨在將已學到的知識(即源任務(wù))轉(zhuǎn)移到新問題(即目標任務(wù))上，從而輔助完成目標任務(wù)的學習。通常，當源域(或源任務(wù))和目標域(或目標任務(wù))不同但相關(guān)時，遷移學習有效。例如，遷移學習算法能夠復(fù)用高性能的訓練模型(例如AlexNet或ResNet模型)中的淺層網(wǎng)絡(luò)參數(shù)，并通過訓練調(diào)整深層網(wǎng)絡(luò)以適應(yīng)用戶個性化的分類任務(wù)。考慮另一種現(xiàn)實場景：某醫(yī)療研究機構(gòu)收集了大量已標記的醫(yī)療數(shù)據(jù)，而另一家診所機構(gòu)僅有小規(guī)模的已標記醫(yī)療數(shù)據(jù)以及來自患者的未標記數(shù)據(jù)，同時這兩個機構(gòu)的醫(yī)療數(shù)據(jù)是相關(guān)的。此時，若僅用該診所的醫(yī)療數(shù)據(jù)來訓練對應(yīng)的分類模型，顯然精度很可能較低。而當利用遷移學習技術(shù)聯(lián)合這兩個機構(gòu)的醫(yī)療數(shù)據(jù)進行訓練(即使用醫(yī)療研究機構(gòu)的數(shù)據(jù)輔助此診所機構(gòu)的模型訓練)，可以較大程度地提升分類器的質(zhì)量。TrAdaboost是一種基于實例的經(jīng)典遷移學習算法(于2007年提出)，可以用于解決此類問題。TrAdaboost算法借鑒Adaboost(一種集成學習算法)的核心設(shè)計思想，聯(lián)合大規(guī)模的源域的標記數(shù)據(jù)和少量目標域的標記數(shù)據(jù)，為目標任務(wù)訓練出性能良好的分類器。具體來說，算法通過調(diào)整訓練樣本的權(quán)重值來逐輪優(yōu)化子分類器。而最終的預(yù)測結(jié)果是由子分類器的加權(quán)組合來確定的。

然而，在將遷移學習任務(wù)委托給云服務(wù)器進行計算的同時，引入了一個嚴峻的挑戰(zhàn)——隱私泄露風險。由于計算涉及的數(shù)據(jù)或結(jié)果可能涉及用戶的敏感信息，例如個人圖像、財務(wù)信息、健康狀況等。此外，遷移學習的模型通常被視為研究者重要的財產(chǎn)，若遭到泄露可能會造成巨大的損失。而云服務(wù)器通常是不可信的，且系統(tǒng)攻擊者可能會竊聽數(shù)據(jù)的傳輸通道或攻擊云服務(wù)器。因此，在外包計算任務(wù)中施加有效的隱私保護措施是很有必要的。為了解決這類問題，已有幾種主流的安全技術(shù)用于保障云計算的安全性和隱私性，包括秘密共享(Secret sharing,SS)、混淆電路(Garbled circuits,GCs)、差分隱私(Differential privacy,DP)、硬件安全、同態(tài)加密(Homomorphic encryption,HE)等。其中，同態(tài)加密技術(shù)的特點是密文的可計算性(即，將密文的計算結(jié)果解密后等價于其對應(yīng)明文的計算結(jié)果)，為隱私保護的云計算提供了一種出色的解決方案。相較于其他安全技術(shù)，同態(tài)加密能達到更高的安全級別。然而，同態(tài)加密技術(shù)具有開銷較大、只能支持正整數(shù)運算、無法自然支持非線性運算(如對數(shù)運算)等特性。如何設(shè)計有效的同態(tài)加密協(xié)議以同時滿足云計算中遷移學習的隱私性、正確性和高效性，這仍然是個需要不斷完善的研究問題。