[發明專利]使用神經網絡編碼和重構輸入

在審

• 申請號: 201780056545.6
• 申請日: 2017-08-03
• 公開（公告）號: CN109804383A
• 公開（公告）日: 2019-05-24
• 發明（設計）人: M.阿巴迪;D.G.安德森
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;H04L9/30
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 邵亞麗

本文描述了用于訓練和使用神經網絡來對輸入進行編碼并處理編碼輸入以例如從編碼輸入來重構輸入的系統、方法、設備和其它技術。神經網絡系統可以包括編碼器神經網絡、可信解碼器神經網絡和對手解碼器神經網絡。編碼器神經網絡處理主神經網絡輸入和密鑰輸入，以生成主神經網絡輸入的編碼表示。可信解碼器神經網絡處理編碼表示和密鑰輸入，以生成主神經網絡輸入的第一估計重構。對手解碼器神經網絡在沒有密鑰輸入的情況下處理編碼表示，以生成主神經網絡輸入的第二估計重構。編碼器神經網絡和可信解碼器神經網絡可以聯合訓練，并且這些網絡被對抗性地訓練成對手解碼器神經網絡。

技術領域

本說明書總體上描述了用于訓練和使用神經網絡(neural network，NN)來編碼輸入并處理編碼輸入以例如從編碼輸入來重構輸入的系統、方法、設備和其它技術。

背景技術

神經網絡是機器學習模型，其采用一層或多層非線性單元來預測對于接收的輸入的輸出。一些神經網絡除了輸出層之外還包括一個或多個隱藏層。每個隱藏層的輸出被用作網絡中下一層的輸入，例如下一隱藏層或輸出層的輸入。網絡的每一層根據相應參數集的當前值從接收的輸入生成輸出。

神經網絡已經被訓練來執行各種數據處理任務，諸如分類、預測和翻譯。一些系統包括多個數據處理組件，例如，在連續階段中的多個數據處理組件，以執行給定任務。

發明內容

本說明書公開了可以在一個或多個位置中的一個或多個計算機上實施為計算機程序的神經網絡和神經網絡訓練系統。例如，描述了神經網絡，其應用神經網絡輸入密鑰來模糊(obfuscate)神經網絡輸入，以便模糊(例如，編碼)神經網絡輸入并防止其被另一個神經網絡重構。例如，可以聯合訓練編碼器神經網絡和可信解碼器神經網絡，以使用共享秘密密鑰或公共-私有密鑰對來分別編碼和解碼主神經網絡輸入。編碼器神經網絡和可信解碼器神經網絡可以進一步相對于試圖解碼編碼器神經網絡的輸出的對手(adversary)解碼器神經網絡進行對抗訓練，盡管對手解碼器神經網絡可能無法使用解碼密鑰。訓練系統不僅可以鼓勵第一解碼器神經網絡生成原始神經網絡輸入的精確重構，還可以獎勵編碼器神經網絡生成不能被對手解碼器神經網絡精確解碼的神經網絡輸入的編碼表示。

在一些實施方式中，神經網絡訓練系統訓練編碼器神經網絡和第一解碼器神經網絡。編碼器神經網絡被訓練成通過處理第一輸入和不同于第一輸入的第二輸入來生成第一輸入的編碼表示。第一解碼器神經網絡被訓練成通過處理第一輸入的編碼表示以及第二輸入或與第二輸入相關的第三輸入來生成第一輸入的估計重構。在一些示例中，編碼器神經網絡和第一解碼器網絡被配置成分別加密和解密第一輸入。編碼器神經網絡使用加密密鑰生成第一輸入的編碼表示(例如，加密第一輸入)，并且第一解碼器神經網絡使用相應解密密鑰生成第一輸入的估計重構(例如，解密第一輸入的編碼表示)。加密密鑰和解密密鑰對于對稱加密可以是相同的，或者對于非對稱加密可以是互補的(例如，公共-私有密鑰對)。

訓練系統可以訓練編碼器神經網絡和第一解碼器神經網絡，以保護第一輸入的全部或部分的保密性。例如，編碼器神經網絡和第一解碼器神經網絡可以與表示對手的第二解碼器神經網絡相結合地訓練。通常，第二解碼器神經網絡試圖損害第一輸入的全部或部分的保密性，例如，通過嘗試從第一輸入的編碼表示來重構第一輸入。為了破壞第二解碼器神經網絡實現其目標的能力，訓練系統可以例如使用損耗函數(loss function)來調整編碼器神經網絡和第一解碼器神經網絡的參數，該損耗函數鼓勵第一解碼器神經網絡對輸入的精確重構，但是不鼓勵第二解碼器神經網絡對輸入的精確重構。此外，訓練系統可以與第二解碼器神經網絡的訓練交替地在成批訓練數據上訓練編碼器神經網絡和第一解碼器神經網絡。在一些示例中，訓練的系統可用于模糊輸入中表示的敏感信息，使得處理輸入的編碼表示的其它系統在沒有適當密鑰的情況下無法可靠地確定敏感信息。