[發(fā)明專利]學習包括高斯過程的概率模型的參數(shù)

在審

• 申請?zhí)枺?/td>: 202010219086.2
• 申請日: 2020-03-25
• 公開（公告）號: CN111753952A
• 公開（公告）日: 2020-10-09
• 發(fā)明（設計）人: B.拉吉施;B.許;D.利布;M.坎德米爾
• 申請（專利權）人: 羅伯特·博世有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06N20/00
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 畢錚;陳嵐

1.一種用于學習概率模型的參數(shù)集合的系統(tǒng)（100），概率模型包括一個或多個層，所述一個或多個層中的一層包括多個高斯過程，所述系統(tǒng)包括：

- 數(shù)據(jù)接口（120），其用于訪問包括多個訓練輸入和對應訓練輸出的訓練數(shù)據(jù)集（030）；

- 處理器子系統(tǒng)（140），其被布置成通過相對于訓練數(shù)據(jù)集而優(yōu)化參數(shù)集合來確定概率模型的參數(shù)集合（050），其中參數(shù)集合至少包括：

- 針對多個高斯過程的多個誘導位置的集合；

- 對多個高斯過程在多個誘導位置處的輸出進行近似的概率分布的參數(shù)，其中概率分布包括多元正態(tài)概率分布，多元正態(tài)分布的協(xié)方差矩陣由指示多個高斯過程之間相似性的第一矩陣和指示多個誘導位置之間相似性的第二矩陣的克羅內(nèi)克積來限定。

2.如權利要求1所述的系統(tǒng)（100），其中優(yōu)化參數(shù)集合包括相對于訓練數(shù)據(jù)集最大化證據(jù)下界。

3.如權利要求1或2所述的系統(tǒng)（100），其中優(yōu)化參數(shù)集合包括在給定訓練輸入的情況下對概率模型的輸出進行采樣，并計算在噪聲分布下從采樣輸出獲得對應于訓練輸入的訓練輸出的似然性。

4.如權利要求3所述的系統(tǒng)（100），其中對概率模型針對訓練輸入的輸出進行采樣包括：

- 通過從聯(lián)合概率分布中邊際化出對多個高斯過程在多個誘導位置處的輸出進行近似的概率分布，來確定多個高斯過程針對訓練輸入的輸出的樣本概率分布；

- 根據(jù)樣本概率分布對多個高斯過程針對訓練輸入的輸出進行采樣。

5.如權利要求2至4中任一項所述的系統(tǒng)（100），其中最大化證據(jù)下界包括對包括證據(jù)下界的目標函數(shù)執(zhí)行隨機梯度下降。

6.如權利要求1至5中任一項所述的系統(tǒng)（100），其中確定參數(shù)集合包括優(yōu)化對多個高斯過程在多個誘導位置處的輸出進行近似的概率分布和多個高斯過程在多個誘導位置處的輸出的先驗概率分布之間的庫爾巴克-萊布勒散度。

7.如權利要求1至6中任一項所述的系統(tǒng)（100），其中第一矩陣是對角矩陣。

8.如權利要求1至7中任一項所述的系統(tǒng)（100），其中多個高斯過程中的一高斯過程具有平方指數(shù)內(nèi)核。

9.如權利要求1至8中任一項所述的系統(tǒng)（100），其中概率模型的參數(shù)集合包括一個或多個內(nèi)核超參數(shù)，多個高斯過程中的每個高斯過程具有由所述一個或多個內(nèi)核超參數(shù)限定的內(nèi)核。

10.用于將概率模型應用于輸入的系統(tǒng)（200），概率模型包括一個或多個層，所述一個或多個層中的一層包括多個高斯過程，所述系統(tǒng)包括：

- 數(shù)據(jù)接口（220），其用于訪問概率模型的輸入（060）和參數(shù)集合（050），其中參數(shù)集合至少包括：

- 針對多個高斯過程的多個誘導位置的集合；

- 對多個高斯過程在多個誘導位置處的輸出進行近似的概率分布的參數(shù)，其中概率分布包括多元正態(tài)概率分布，多元正態(tài)分布的協(xié)方差矩陣由指示多個高斯過程之間相似性的第一矩陣和指示誘導位置之間相似性的第二矩陣的克羅內(nèi)克積來限定；

- 處理器子系統(tǒng)（240），其被布置成基于概率模型的參數(shù)集合（050）來確定概率模型關于輸入（060）的輸出的樣本。

11.如權利要求10所述的系統(tǒng)（200），其中處理器被配置為確定概率模型關于輸入的輸出的多個樣本，并由此確定不確定性估計。