[發(fā)明專利]處理基于損失函數(shù)被訓(xùn)練的模型

在審

• 申請(qǐng)?zhí)枺?/td>: 202110016672.1
• 申請(qǐng)日: 2021-01-07
• 公開(kāi)（公告）號(hào): CN113159325A
• 公開(kāi)（公告）日: 2021-07-23
• 發(fā)明（設(shè)計(jì)）人: M·B·扎法爾;C·齊默;M·R·魯?shù)婪?/a>;M·席格;S·格爾溫
• 申請(qǐng)（專利權(quán)）人: 羅伯特·博世有限公司
• 主分類號(hào): G06N20/00
• 分類號(hào): G06N20/00
• 代理公司: 中國(guó)專利代理(香港)有限公司 72001
• 代理人: 任一方;周學(xué)斌

1.一種用于處理基于損失函數(shù)被訓(xùn)練的模型的系統(tǒng)（100），模型被配置為在給定輸入實(shí)例的情況下提供模型輸出，模型是通過(guò)迭代地優(yōu)化目標(biāo)函數(shù)在訓(xùn)練數(shù)據(jù)集上被訓(xùn)練的，目標(biāo)函數(shù)包括根據(jù)用于訓(xùn)練數(shù)據(jù)集的相應(yīng)訓(xùn)練實(shí)例的損失函數(shù)的相應(yīng)損失，所述系統(tǒng)包括：

-數(shù)據(jù)接口（120），被配置用于訪問(wèn)模型（030）和已經(jīng)在其上訓(xùn)練模型的訓(xùn)練數(shù)據(jù)集（040）；

-移除請(qǐng)求接口（160），被配置用于接收移除請(qǐng)求消息，移除請(qǐng)求消息標(biāo)識(shí)訓(xùn)練數(shù)據(jù)集的一個(gè)或多個(gè)不期望的訓(xùn)練實(shí)例；

-處理器子系統(tǒng)（140），被配置為在接收到移除請(qǐng)求消息時(shí)，通過(guò)以下各項(xiàng)使模型獨(dú)立于所述一個(gè)或多個(gè)不期望的訓(xùn)練實(shí)例：

-從訓(xùn)練數(shù)據(jù)集移除所述一個(gè)或多個(gè)不期望的訓(xùn)練實(shí)例，以獲得剩余數(shù)據(jù)集；

-通過(guò)以下各項(xiàng)確定用于剩余數(shù)據(jù)集的適配模型：

-基于訓(xùn)練模型的參數(shù)集初始化適配模型的參數(shù)集；

-通過(guò)相對(duì)于剩余數(shù)據(jù)集優(yōu)化目標(biāo)函數(shù)，迭代地對(duì)適配模型的參數(shù)集進(jìn)行適配。

2.根據(jù)權(quán)利要求1所述的系統(tǒng)（100），其中訓(xùn)練數(shù)據(jù)集包括從相應(yīng)用戶收集的多個(gè)訓(xùn)練實(shí)例，移除請(qǐng)求消息指示其訓(xùn)練實(shí)例將從訓(xùn)練數(shù)據(jù)集移除的用戶。

3.根據(jù)權(quán)利要求2所述的系統(tǒng)（100），其中用戶的訓(xùn)練實(shí)例包括用戶的一個(gè)或多個(gè)傳感器測(cè)量，例如圖像。

4.根據(jù)權(quán)利要求3所述的系統(tǒng)（100），其中處理器子系統(tǒng)（140）進(jìn)一步被配置為通過(guò)從用戶設(shè)備接收訓(xùn)練實(shí)例來(lái)收集用戶的訓(xùn)練實(shí)例，訓(xùn)練實(shí)例包括用戶設(shè)備對(duì)用戶的生理量的傳感器測(cè)量。

5.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的系統(tǒng)（100），其中訓(xùn)練模型包括通過(guò)第一參數(shù)集被參數(shù)化的特征提取器和通過(guò)第二參數(shù)集被參數(shù)化的另外訓(xùn)練模型，特征提取器在不包括不期望的訓(xùn)練實(shí)例的另外數(shù)據(jù)集上被訓(xùn)練，處理器子系統(tǒng)（140）被配置為通過(guò)適配第二參數(shù)集來(lái)確定適配模型。

6.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的系統(tǒng)（100），其中，處理器子系統(tǒng)（140）被配置為在適配模型的參數(shù)集的迭代適配的迭代中，確定目標(biāo)函數(shù)相對(duì)于所述參數(shù)集的一個(gè)或多個(gè)二階導(dǎo)數(shù)，并且基于所確定的二階導(dǎo)數(shù)適配所述參數(shù)集。

7.根據(jù)權(quán)利要求6所述的系統(tǒng)（100），其中，處理器子系統(tǒng)（140）被配置為在適配模型的參數(shù)集的迭代適配的另外迭代中，使用一階優(yōu)化方法來(lái)適配所述參數(shù)集。

8.根據(jù)權(quán)利要求7所述的系統(tǒng)（100），其中，處理器子系統(tǒng)（140）進(jìn)一步被配置為：

-確定要添加的對(duì)角噪聲的量，以相對(duì)于所述參數(shù)集使目標(biāo)函數(shù)的黑塞矩陣正定；和

-如果要添加的對(duì)角噪聲的量超過(guò)閾值，則在一次或多次迭代中使用一階優(yōu)化方法來(lái)適配所述參數(shù)集。

9.根據(jù)權(quán)利要求6至8中任一項(xiàng)所述的系統(tǒng)（100），其中，處理器子系統(tǒng)（140）被配置為通過(guò)最小化目標(biāo)函數(shù)的黑塞矩陣的逆與目標(biāo)函數(shù)的梯度的乘積和黑塞矩陣中的二次方程來(lái)確定所述乘積。

10.根據(jù)權(quán)利要求6或7所述的系統(tǒng)（100），其中，處理器子系統(tǒng)（140）被配置為使用擬牛頓法來(lái)近似黑塞矩陣或黑塞矩陣的逆。

11.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的系統(tǒng)（100），其中，訓(xùn)練模型包括非線性模型，例如神經(jīng)網(wǎng)絡(luò)。

12.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的系統(tǒng)（100），其中訓(xùn)練模型包括神經(jīng)網(wǎng)絡(luò)，所述神經(jīng)網(wǎng)絡(luò)包括多層，處理器子系統(tǒng)（140）被配置為通過(guò)迭代地適配僅神經(jīng)網(wǎng)絡(luò)的多層的子集的權(quán)重來(lái)迭代地對(duì)適配模型的參數(shù)集進(jìn)行適配。