[發明專利]學習多個隨機變量之間的隨機推斷模型的方法和裝置

在審

• 申請號: 202110381691.4
• 申請日: 2021-04-09
• 公開（公告）號: CN113516153A
• 公開（公告）日: 2021-10-19
• 發明（設計）人: 柳淙夏;李正元;M.埃爾-哈米;崔裕鎮;金映桿
• 申請（專利權）人: 三星電子株式會社
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 邵亞麗

1.一種用于操作神經網絡的方法，所述方法包括：

訓練所述神經網絡，

其中：

所述神經網絡包括變分自編碼器，包括：

編碼器網絡，被配置為：

接收第一隨機變量的樣本，并產生第一潛變量和第二潛變量中的每一個的均值和方差，或者

接收第二隨機變量的樣本，并產生所述第二潛變量和第三潛變量中的每一個的均值和方差；以及

解碼器網絡，被配置為：

接收所述第一潛變量的樣本和所述第二潛變量的樣本，并生成所述第一隨機變量的生成樣本，或者

接收所述第二潛變量的樣本和所述第三潛變量的樣本，并生成所述第二隨機變量的生成樣本，

訓練所述神經網絡包括用以下來訓練所述變分自編碼器：

所述第一隨機變量的多個樣本；以及

所述第二隨機變量的多個樣本，

所述第一隨機變量的多個樣本和所述第二隨機變量的多個樣本不成對，訓練所述神經網絡包括基于第一損失函數來更新所述神經網絡中的權重，所述第一損失函數基于與以下之間的一致性的偏差的度量：

從所述第一隨機變量到所述第二隨機變量的條件生成路徑，以及

從所述第二隨機變量到所述第一隨機變量的條件生成路徑。

2.根據權利要求1所述的方法，其中，所述第一損失函數包括：

第一項，表示所述第一隨機變量的重建損失；

第二項，表示與所述第二潛變量的一致性的偏差；

第三項，表示與所述第一潛變量的一致性的偏差；以及

第四項，表示與所述第三潛變量的一致性的偏差。

3.根據權利要求1所述的方法，還包括由所述變分自編碼器執行條件生成，所述執行條件生成包括：

由所述編碼器網絡接收所述第一隨機變量的樣本；

產生所述第一潛變量和所述第二潛變量中的每一個的均值和方差；

由所述解碼器網絡接收以下中的每一個的樣本：

具有所述第一潛變量的產生均值和產生方差的分布，

具有所述第二潛變量的產生均值和產生方差的分布，以及

具有所述第三潛變量的先驗分布的均值和方差的分布；以及

由所述解碼器網絡生成所述第二隨機變量的生成樣本。

4.根據權利要求1所述的方法，還包括由所述變分自編碼器執行聯合生成，所述執行聯合生成包括：

由所述解碼器網絡接收以下中的每一個的樣本：

所述第一潛變量，

所述第二潛變量，以及

所述第三潛變量；以及

由所述解碼器網絡生成：

基于所述第一潛變量和所述第二潛變量的所述第一隨機變量的生成樣本，

基于所述第二潛變量和所述第三潛變量的所述第二隨機變量的生成樣本。

5.根據權利要求1所述的方法，其中，所述神經網絡還包括判別神經網絡，并且訓練所述神經網絡還包括基于第二損失函數來更新所述判別神經網絡中的權重，所述第二損失函數包括f-散度。

6.根據權利要求5所述的方法，其中，所述訓練包括基于第一損失函數來更新所述神經網絡中的權重，所述第一損失函數包括：

第一項，表示所述第一隨機變量的重建損失；

第二項，表示與所述第二潛變量的一致性的偏差；

第三項，表示與所述第一潛變量的一致性的偏差；以及

第四項，表示與所述第三潛變量的一致性的偏差。

7.根據權利要求6所述的方法，其中，所述第一損失函數還包括基于所述判別神經網絡的第五項。