[發明專利]處理基于損失函數被訓練的模型

在審

• 申請號: 202110016672.1
• 申請日: 2021-01-07
• 公開（公告）號: CN113159325A
• 公開（公告）日: 2021-07-23
• 發明（設計）人: M·B·扎法爾;C·齊默;M·R·魯道夫;M·席格;S·格爾溫
• 申請（專利權）人: 羅伯特·博世有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 任一方;周學斌

處理基于損失函數被訓練的模型。本發明涉及一種用于處理模型的系統（100）。該模型在給定輸入實例的情況下提供模型輸出。通過根據用于訓練數據集的訓練實例的損失函數迭代地優化包括損失的目標函數，在訓練數據集上訓練模型。一旦接收到標識訓練數據集的一個或多個不期望的訓練實例的移除請求消息，就使模型獨立于一個或多個不期望的訓練實例。為了該目的，從訓練數據集移除一個或多個不期望的訓練實例以獲得剩余數據集，并且為剩余數據集確定適配模型。首先基于訓練模型的參數集初始化適配模型的參數，并且然后通過相對于剩余數據集優化目標函數來迭代地對適配模型的參數進行適配。

技術領域

本發明涉及用于處理基于損失函數訓練的模型的系統，以及對應的計算機實現的方法。本發明進一步涉及一種包括執行該方法的指令的計算機可讀介質。

背景技術

諸如智能手表、健身追蹤器和身體安裝傳感器之類的可佩戴設備允許測量和跟蹤用戶的各種量，例如，諸如心率或血壓之類的生理量，或者諸如位置、速度、旋轉速度等其他種類的物理量。然后，典型地集中收集這樣的測量，并且可以提供利用所述測量的各種服務，例如，活動存記、睡眠建議等。許多這些服務將機器學習模型應用于從用戶收集的信息，以例如識別模式或做出預測。機器學習模型的流行的類是所謂的“經驗風險最小化”（ERM）型模型的類，其通過迭代地優化目標函數而在訓練數據集上進行訓練，該目標函數包括根據典型的非線性損失函數被確定的相應訓練實例的損失。這樣的模型的示例包括神經網絡，或者最小二乘或邏輯回歸模型。除了將模型應用于從用戶收集的信息之外，服務還通常使用該信息來進一步細化機器學習模型，并且從而改進它們的服務。此外，在許多其他設置中，例如，在醫學圖像處理或面部識別中，針對個人信息對機器學習模型進行訓練。

如果在包括關于某個人的個人信息的訓練數據集上對機器學習模型進行訓練，則這意味著機器學習模型在如下意義上依賴于該個人信息：如果該個人信息不包括在數據集中，則訓練將導致不同的模型。特別地，訓練模型的參數集可以不同。結果，同樣對于可以對其應用訓練模型的至少一個輸入實例，使用個人信息訓練的模型可以提供與在沒有個人信息訓練情況下訓練的模型不同的模型輸出。在一些情況下，由于這些差異，僅從訓練模型導出關于數據集中個體的信息證明是可能的，這種現象被稱為“模型取逆（modelinversion）”。更一般地，由于訓練模型實際上是包括他們的個人信息的訓練數據集的函數，因此如果訓練數據集中包括的個人如此期望，則如果可以使訓練模型本質上獨立于涉及他們的訓練實例，那將是合期望的。事實上，在許多設置中，諸如歐盟的《一般數據保護條例》（GDPR）或美國的《健康保險可移植性與責任法案》（HIPPA）的隱私法規可能要求直到用以讓數據主體控制可以使用其個人信息例如用于訓練機器學習模型到什么程度的各種程度。

限制模型輸出對任何一個特定訓練記錄的依賴性的一種已知方式是通過利用差分私有擾動技術。差分隱私是一個數學框架，該數學框架規定了由于任何單個訓練記錄的存在或不存在所致的模型輸出的最大偏差量。在ERM型模型（特別是邏輯回歸模型）的設置中，由K. Chaudhuri和C. Monteleoni的“Privacy-preserving logistic regression”（Advances in Neural Information Processing Systems，289–296頁，2009）建議使用現有的訓練模型，并向其輸出添加充分的噪聲，以隱藏單個記錄的存在的效果。因此，由于添加的噪聲，可以使模型輸出在很大程度上獨立于單個訓練記錄。

發明內容