[發(fā)明專利]用于降低機器學(xué)習模型預(yù)測中的不確定性的方法

在審

• 申請?zhí)枺?/td>: 201980078859.5
• 申請日: 2019-11-19
• 公開（公告）號: CN113168556A
• 公開（公告）日: 2021-07-23
• 發(fā)明（設(shè)計）人: S·A·米德爾布魯克;M·G·M·M·范克萊杰;M·皮薩倫科
• 申請（專利權(quán)）人: ASML荷蘭有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G03F1/36;G03F7/20
• 代理公司: 北京市金杜律師事務(wù)所 11256
• 代理人: 趙林琳

1.一種用于量化參數(shù)化模型預(yù)測中的不確定性的方法，所述方法包括：

使參數(shù)化模型預(yù)測來自所述參數(shù)化模型的針對給定輸入的多個后驗分布，所述多個后驗分布包括多個分布中的分布；

通過從多個分布中的所述分布采樣來確定針對所述給定輸入的所預(yù)測的所述多個后驗分布的可變性；以及

使用所預(yù)測的所述多個后驗分布中的所確定的所述可變性來量化所述參數(shù)化模型預(yù)測中的不確定性。

2.根據(jù)權(quán)利要求1所述的方法，其中所述參數(shù)化模型是機器學(xué)習模型。

3.根據(jù)權(quán)利要求1所述的方法，其中使所述參數(shù)化模型預(yù)測所述多個后驗分布包括：使所述參數(shù)化模型使用參數(shù)丟棄來生成多個分布中的所述分布。

4.根據(jù)權(quán)利要求1所述的方法，其中：

使所述參數(shù)化模型預(yù)測來自所述參數(shù)化模型的針對給定輸入的所述多個后驗分布包括：使所述參數(shù)化模型預(yù)測與第一后驗分布P_Θ(z|x)相對應(yīng)的第一組多個后驗分布、以及與第二后驗分布P_φ(y|z)相對應(yīng)的第二組多個后驗分布；

通過從多個分布中的所述分布采樣來確定針對所述給定輸入的所預(yù)測的所述多個后驗分布的所述可變性包括：通過從多個分布中的、針對所預(yù)測的所述第一組多個后驗分布和所預(yù)測的所述第二組多個后驗分布的所述分布采樣來確定針對所述給定輸入的所預(yù)測的所述第一組多個后驗分布和所預(yù)測的所述第二組多個后驗分布的所述可變性；以及

使用所預(yù)測的所述多個后驗分布中的所確定的所述可變性來量化所述參數(shù)化模型預(yù)測中的所述不確定性包括：使用所預(yù)測的所述第一組多個后驗分布和所預(yù)測的所述第二組多個后驗分布中的所確定的所述可變性來量化所述參數(shù)化模型預(yù)測中的所述不確定性。

5.根據(jù)權(quán)利要求1所述的方法，其中所述給定輸入包括以下中的一項或多項：圖像、剪輯、經(jīng)編碼圖像、經(jīng)編碼剪輯、或來自所述參數(shù)化模型的先前層中的數(shù)據(jù)。

6.根據(jù)權(quán)利要求1所述的方法，還包括：使用所預(yù)測的所述多個后驗分布中的所確定的所述可變性和/或經(jīng)量化的所述不確定性來調(diào)整所述參數(shù)化模型，以通過使所述參數(shù)化模型更具描述性或包括更多樣化的訓(xùn)練數(shù)據(jù)來降低所述參數(shù)化模型的所述不確定性。

7.根據(jù)權(quán)利要求1所述的方法，其中所述參數(shù)化模型包括編碼器-解碼器架構(gòu)。

8.根據(jù)權(quán)利要求7所述的方法，其中所述編碼器-解碼器架構(gòu)包括變分編碼器-解碼器架構(gòu)，所述方法還包括：利用概率性潛在空間來訓(xùn)練所述變分編碼器-解碼器架構(gòu)，所述變分編碼器-解碼器架構(gòu)在輸出空間中生成實現(xiàn)。

9.根據(jù)權(quán)利要求8所述的方法，其中所述潛在空間包括低維編碼。

10.根據(jù)權(quán)利要求9所述的方法，還包括：針對所述給定輸入，使用所述編碼器-解碼器架構(gòu)的編碼器部分來確定潛在變量的條件概率。

11.根據(jù)權(quán)利要求10所述的方法，還包括：使用所述編碼器-解碼器架構(gòu)的解碼器部分來確定條件概率。

12.根據(jù)權(quán)利要求1所述的方法，其中采樣包括：從多個分布中的所述分布隨機選擇分布，其中所述采樣是高斯或非高斯的。

13.根據(jù)權(quán)利要求8所述的方法，其中所述參數(shù)化模型的所述不確定性與所述參數(shù)化模型的參數(shù)的權(quán)重的不確定性以及所述潛在空間的大小和描述性有關(guān)。

14.根據(jù)權(quán)利要求8所述的方法，其中使用所預(yù)測的所述多個后驗分布中的所確定的所述可變性來調(diào)整所述參數(shù)化模型以降低所述參數(shù)化模型的所述不確定性包括：

·增加訓(xùn)練集大小和/或添加所述潛在空間的維度；

·向所述潛在空間添加附加維度；或者

·利用附加的且更多樣化的訓(xùn)練樣本來訓(xùn)練所述參數(shù)化模型。

15.一種計算機程序產(chǎn)品，包括其上記錄有指令的非瞬態(tài)計算機可讀介質(zhì)，所述指令在由計算機執(zhí)行時實現(xiàn)權(quán)利要求1所述的方法。