[發明專利]學習包括高斯過程的概率模型的參數

在審

• 申請號: 202010219086.2
• 申請日: 2020-03-25
• 公開（公告）號: CN111753952A
• 公開（公告）日: 2020-10-09
• 發明（設計）人: B.拉吉施;B.許;D.利布;M.坎德米爾
• 申請（專利權）人: 羅伯特·博世有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06N20/00
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 畢錚;陳嵐

學習包括高斯過程的概率模型的參數。公開了系統（100），其用于根據訓練數據集學習具有多個高斯過程（例如深度GP）的層的概率模型的參數集合。參數集合至少包括針對多個高斯過程的誘導位置，以及對多個高斯過程在多個誘導位置處的輸出進行近似的概率分布的參數。概率分布包括多元正態概率分布，所述多元正態概率分布具有由指示多個高斯過程之間相似性的第一矩陣和指示多個誘導位置之間相似性的第二矩陣的克羅內克積限定的協方差矩陣。還公開了系統（200），其使用參數集合來確定概率模型針對給定輸入的輸出的一個或多個樣本，例如以確定針對概率模型的均值和/或不確定性估計。

技術領域

本發明涉及用于學習（例如具有復雜底層物理模型的技術系統的）包括高斯過程的概率模型的參數集合的系統，以及用于將概率模型應用于輸入的系統。本發明還涉及對應于所述系統的計算機實現的方法和計算機可讀介質，以及涉及包括所述參數集合的計算機可讀介質。

背景技術

許多技術系統具有對于顯式地建模而言太復雜的底層物理模型。例如，預測特定發動機排放值的模型可能以復雜的非線性方式依賴于其輸入參數（諸如速度和負荷），或者直接依賴于發動機控制單元（ECU）的輸入參數。為了對在這類物理模型中出現的復雜的非線性依賴性進行建模，高斯過程（GP）可以用作概率建模中的構建塊。對于安全關鍵的應用而言重要的是，高斯過程不僅可以用于預測點估計，而且還可以用于提供相關聯的不確定性估計。已知由單個GP組成的模型被很好地校準，例如，它們的不確定性估計是合理的。更復雜的系統可以使用所謂的深度高斯過程來建模，所述深度高斯過程包括GP的層次組成。

在H.Salimbeni和M.Deisenroth的論文“Doubly Stochastic VariationalInference for Deep Gaussian Processes” 神經信息處理系統的進展，2017（通過引用并入本文并在https：//arxiv.org/abs/1705.08933可獲得）中，給出了一種用于基于雙重隨機變分推斷來訓練深度GP的算法。基于均值場假設——即潛在過程是后驗獨立的假設，使用誘導點框架獨立地學習每個GP的統計量。

發明內容

發明人認識到，用于訓練和使用具有高斯過程的概率模型的現有技術具有若干缺點。首先，用于處理這類概率模型的現有技術在計算上是昂貴的。例如，需要相對大量的參數來表示高斯過程，這意味著：需要大量的迭代來使用迭代技術訓練這類模型，并且評估模型（例如，計算其邊際似然性的下界和預測分布）是昂貴的。與此同時，如發明人所認識到的，假設后驗獨立性意味著忽略潛在高斯過程之間的關聯。這對于預測不確定性是有害的，因為它在許多情況下導致對潛在后驗和預測分布的不確定性的低估。這是有問題的，尤其是對于安全關鍵的應用。

存在對于改進基于高斯過程的概率模型以便解決這些和其他問題的需要。

根據本發明的第一方面，如權利要求1所限定的，提出了一種用于學習概率模型的參數集合的系統。根據本發明的另外的方面，如權利要求10所限定的，提出了一種用于將概率模型應用于輸入的系統。根據本發明的另外的方面，如權利要求12所限定的，提出了一種學習概率模型的參數集合的方法。根據本發明的另外的方面，如權利要求13所限定的，提出了一種將概率模型應用于輸入的方法。根據本發明的另外的方面，如權利要求14和15所限定的，提供了一種計算機可讀介質。

借助于這些手段，發明人能夠開發出一族具有各種優點的概率模型。