[發明專利]具有特征混淆的機器學習

在審

• 申請號: 202080056514.2
• 申請日: 2020-08-13
• 公開（公告）號: CN114207637A
• 公開（公告）日: 2022-03-18
• 發明（設計）人: S·E·布拉德紹;S·古納塞克拉安;S·S·艾勒特;A·D·艾卡爾;K·M·丘爾維茲
• 申請（專利權）人: 美光科技公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 北京律盟知識產權代理有限責任公司 11287
• 代理人: 王龍

一種具有多個裝置的系統，所述裝置可托管人工神經網絡(ANN)的不同版本。在所述系統中，可混淆所述ANN的輸入，以在第一計算裝置處集中訓練所述ANN的主版本。所述系統中的第二計算裝置包含存儲器，所述存儲器存儲所述ANN的本地版本及用于輸入到所述本地版本中的用戶數據。所述第二計算裝置包含處理器，所述處理器從所述用戶數據提取特征及混淆所述所提取特征以生成混淆的用戶數據。所述第二裝置包含傳輸所述混淆的用戶數據的收發器。所述第一計算裝置包含：存儲器，其存儲所述ANN的所述主版本；收發器，其接收從所述第二計算裝置傳輸的混淆的用戶數據；及處理器，其使用機器學習基于所述所接收的混淆用戶數據訓練所述主版本。

相關申請

本申請要求2019年8月20日提交的標題為“具有特征混淆的機器學習(MACHINELEARNING WITH FEATURE OBFUSCATION)”的美國專利申請序列號16/545,837的優先級，所述申請的全部公開內容特此通過引用并入本文中。

技術領域

本文中所公開的至少一些實施例大體上涉及具有數據隱私保護的分布式機器學習，且更具體地說，涉及具有數據隱私保護的分布式人工神經網絡。

背景技術

人工神經網絡(ANN)是可學習執行任務而無需通過用于特定操作的指令進行編程的計算系統。ANN基于一組連接的節點或人工神經元，這有點類似于生物大腦中的神經元。節點之間的每個連接都可將信號從一個人工神經元傳輸到另一個，并且接收信號的人工神經元可對其進行處理。

通常，ANN由在人工神經元之間的連接(或邊緣)處的作為實數的信號實施，且每個人工神經元的輸出由其輸入的總和的非線性函數計算。人工神經元及邊緣通常具有隨ANN或ANN的訓練的學習進行而調整的權重。權重增加或減小在邊緣處的信號的強度。人工神經元還可具有閾值，其中僅在聚集信號超過閾值的情況下從人工神經元發送信號。通常，人工神經元分組為多個層(例如，輸入層、一或多個中間層及輸出層)，且每一層可對到所述層的輸入提供不同變換。

隨著復雜的人工神經網絡(例如，深神經網絡)的使用增加及增加此類網絡的有效性的需要，通過使用多個處理器及/或分布式計算分布人工神經網絡的訓練已經滿足復雜性及挑戰。然而，通過使用多個處理器或分布計算，存在數據隱私問題(例如，數據可靠的問題)以及網絡性能問題(例如，網絡性能限制神經網絡滿足應用程序的性能需求的能力的問題)。

附圖說明

根據下文提供的具體實施方式及本公開的各種實施例的附圖將更加充分地理解本公開。

圖1及2說明根據本公開的一些實施例的呈實施混淆用于集中訓練ANN的主版本的輸入的配置的實例計算機網絡100。

圖3及4說明根據本公開的一些實施例的由可實施混淆用于集中訓練ANN的主版本的輸入的計算機網絡100的實例部分執行的實例方法。

圖5說明根據本公開的一些實施例的可托管ANN的主版本的實例計算裝置或可托管ANN的另一版本的實例計算裝置。

具體實施方式

本公開的至少一些方面涉及具有數據隱私保護的分布式機器學習，且更具體地說，涉及具有數據隱私保護的分布式人工神經網絡。而且，本公開的至少一些方面涉及計算機網絡，其可經配置以實施混淆用于集中訓練人工神經網絡(ANN)的主版本的輸入。

本文公開一種可具有可托管ANN的不同版本的多個計算裝置的系統。系統的每個計算裝置可托管其自身的ANN版本。舉例來說，第一裝置可托管ANN的主版本，且第二裝置及系統的其它裝置可托管ANN的本地版本。