[發明專利]學習多個隨機變量之間的隨機推斷模型的方法和裝置

在審

• 申請號: 202110381691.4
• 申請日: 2021-04-09
• 公開（公告）號: CN113516153A
• 公開（公告）日: 2021-10-19
• 發明（設計）人: 柳淙夏;李正元;M.埃爾-哈米;崔裕鎮;金映桿
• 申請（專利權）人: 三星電子株式會社
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 邵亞麗

一種用于操作神經網絡的系統和方法。在一些實施例中，神經網絡包括變分自編碼器，并且訓練神經網絡包括用第一隨機變量的多個樣本以及第二隨機變量的多個樣本來訓練變分自編碼器，第一隨機變量的多個樣本和第二隨機變量的多個樣本不成對，訓練神經網絡包括基于第一損失函數來更新神經網絡中的權重，第一損失函數基于與以下之間的一致性的偏差的度量：從第一隨機變量到第二隨機變量的條件生成路徑，以及從第二隨機變量到第一隨機變量的條件生成路徑。

相關申請的交叉引用

本申請要求于2020年4月10日提交的標題為“METHOD AND APPARATUS FORLEARNING STOCHASTIC INFERENCE MODELS BETWEEN MULTIPLE RANDOM VARIABLES WITHUNPAIRED DATA”的美國臨時申請No.63/008294的優先權和利益，其全部內容通過引用并入本文。

技術領域

根據本公開的實施例的一個或多個方面涉及機器學習，并且更具體地涉及多個隨機變量之間的隨機推斷模型。

背景技術

在各種應用中，機器學習系統執行條件生成或聯合生成可能是有利的?？梢允褂贸蓪Φ臄祿碛柧氂糜趫绦羞@些任務的機器學習模型。然而，在一些應用中，成對的數據不容易獲得，并且生成成本可能很高。

因此，需要一種用于學習具有不成對數據的多個隨機變量之間的隨機推斷模型的改進的系統和方法。

發明內容

根據本發明的實施例，提供一種用于操作神經網絡的方法，該方法包括：訓練神經網絡，其中：神經網絡包括變分自編碼器，包括：編碼器網絡，被配置為：接收第一隨機變量的樣本，并產生第一潛變量和第二潛變量中的每一個的均值和方差，或者接收第二隨機變量的樣本，并產生第二潛變量和第三潛變量中的每一個的均值和方差；以及解碼器網絡，被配置為：接收第一潛變量的樣本和第二潛變量的樣本，并生成第一隨機變量的生成樣本，或者接收第二潛變量的樣本和第三潛變量的樣本，并生成第二隨機變量的生成樣本，訓練神經網絡包括用以下來訓練變分自編碼器：第一隨機變量的多個樣本；以及第二隨機變量的多個樣本，第一隨機變量的多個樣本和第二隨機變量的多個樣本不成對，訓練神經網絡包括基于第一損失函數來更新神經網絡中的權重，第一損失函數基于與以下之間的一致性的偏差的度量：從第一隨機變量到第二隨機變量的條件生成路徑，以及從第二隨機變量到第一隨機變量的條件生成路徑。

在一些實施例中，第一損失函數包括：第一項，表示第一隨機變量的重建損失；第二項，表示與第二潛變量的一致性的偏差；第三項，表示與第一潛變量的一致性的偏差；以及第四項，表示與第三潛變量的一致性的偏差。

在一些實施例中，該方法還包括由變分自編碼器執行條件生成，執行條件生成包括：由編碼器網絡接收第一隨機變量的樣本；產生第一潛變量和第二潛變量中的每一個的均值和方差；由解碼器網絡接收以下中的每一個的樣本：具有第一潛變量的產生均值和產生方差的分布，具有第二潛變量的產生均值和產生方差的分布，以及具有第三潛變量的先驗分布的均值和方差的分布；以及由解碼器網絡生成第二隨機變量的生成樣本。

在一些實施例中，該方法還包括由變分自編碼器執行聯合生成，執行聯合生成包括：由解碼器網絡接收以下中的每一個的樣本：第一潛變量，第二潛變量，以及第三潛變量；以及由解碼器網絡生成：基于第一潛變量和第二潛變量的第一隨機變量的生成樣本，基于第二潛變量和第三潛變量的第二隨機變量的生成樣本。

在一些實施例中，神經網絡還包括判別神經網絡，并且訓練神經網絡還包括基于第二損失函數來更新判別神經網絡中的權重，該第二損失函數包括f-散度。

在一些實施例中，訓練包括基于第一損失函數來更新神經網絡中的權重，第一損失函數包括：第一項，表示第一隨機變量的重建損失；第二項，表示與第二潛變量的一致性的偏差；第三項，表示與第一潛變量的一致性的偏差；以及第四項，表示與第三潛變量的一致性的偏差。