[發(fā)明專利]計算機實施的用于訓練神經(jīng)網(wǎng)絡的方法和電子系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110307840.2
• 申請日: 2021-03-23
• 公開（公告）號: CN113435568A
• 公開（公告）日: 2021-09-24
• 發(fā)明（設計）人: 崔志煥;李正元;穆斯塔法·艾爾可哈米;崔裕鎮(zhèn)
• 申請（專利權）人: 三星電子株式會社
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京銘碩知識產(chǎn)權代理有限公司 11286
• 代理人: 張川緒;史泉

1.一種計算機實施的用于訓練神經(jīng)網(wǎng)絡的方法，所述方法包括：

在生成器處接收隨機圖像；

在生成器處產(chǎn)生接收的隨機圖像的合成圖像；

在教師網(wǎng)絡處接收合成圖像；

在學生網(wǎng)絡處接收合成圖像；

通過以合成圖像作為輸入執(zhí)行教師網(wǎng)絡和學生網(wǎng)絡并且調(diào)整學生網(wǎng)絡的參數(shù)，使教師網(wǎng)絡的輸出與學生網(wǎng)絡的輸出之間的距離的最大值最小化，以訓練學生網(wǎng)絡；以及

約束生成器。

2.根據(jù)權利要求1所述的方法，其中，約束生成器的步驟包括：通過調(diào)整生成器的參數(shù)，使輔助損失項最小化。

3.根據(jù)權利要求2所述的方法，其中，當元數(shù)據(jù)被提供時，輔助損失項包括到元數(shù)據(jù)的距離。

4.根據(jù)權利要求3所述的方法，其中，元數(shù)據(jù)是描述在教師網(wǎng)絡中利用原始訓練數(shù)據(jù)獲得的特征圖的高斯混合參數(shù)。

5.根據(jù)權利要求2所述的方法，其中，輔助損失項包括來自教師網(wǎng)絡的至少一個批歸一化層的匹配統(tǒng)計和實例分類熵中的至少一個；或者來自教師網(wǎng)絡的至少一個批歸一化層的匹配統(tǒng)計和實例分類熵中的至少一個以及批量分類熵。

6.根據(jù)權利要求5所述的方法，其中，約束生成器的步驟包括：匹配所述至少一個批歸一化層的平均值和方差。

7.根據(jù)權利要求6所述的方法，其中，匹配所述至少一個批歸一化層的平均值和方差的步驟利用兩個高斯分布的KL散度來執(zhí)行，

其中，所述兩個高斯分布包括基于針對生成器的合成圖像計算的平均值和方差確定的高斯分布和基于所述至少一個批歸一化層的平均值和方差確定的高斯分布。

8.根據(jù)權利要求1至7中的任意一項所述的方法，其中，教師網(wǎng)絡的輸出與學生網(wǎng)絡的輸出之間的距離是教師網(wǎng)絡的最后層的輸出與學生網(wǎng)絡的最后層的輸出之間的距離和/或教師網(wǎng)絡的中間層的輸出與學生網(wǎng)絡的中間層的輸出之間的距離。

9.根據(jù)權利要求1至7中的任意一項所述的方法，其中，使教師網(wǎng)絡的輸出與學生網(wǎng)絡的輸出之間的距離的最大值最小化的步驟包括：匹配中間層輸出。

10.一種計算機實施的方法，所述方法包括：

在生成器處接收隨機輸入；

在生成器處產(chǎn)生接收的隨機輸入的合成輸出；

在教師網(wǎng)絡處接收合成輸出；

在學生網(wǎng)絡處接收合成輸出；

使教師網(wǎng)絡的輸出與學生網(wǎng)絡的輸出之間的距離的最大值最小化；以及

約束生成器。

11.一種電子系統(tǒng)，所述電子系統(tǒng)包括：

存儲器；以及

處理器，被配置為：在生成器處接收隨機圖像，在生成器處產(chǎn)生接收的隨機圖像的合成圖像，在教師網(wǎng)絡處接收合成圖像，在學生網(wǎng)絡處接收合成圖像，通過以合成圖像作為輸入執(zhí)行教師網(wǎng)絡和學生網(wǎng)絡并且調(diào)整學生網(wǎng)絡的參數(shù)，使教師網(wǎng)絡的輸出與學生網(wǎng)絡的輸出之間的距離的最大值最小化，以訓練學生網(wǎng)絡，以及約束生成器。

12.根據(jù)權利要求11所述的電子系統(tǒng)，其中，處理器被配置為通過調(diào)整生成器的參數(shù)，使輔助損失項最小化來約束生成器。

13.根據(jù)權利要求12所述的電子系統(tǒng)，當元數(shù)據(jù)被提供時，輔助損失項包括到元數(shù)據(jù)的距離。

14.根據(jù)權利要求13所述的電子系統(tǒng)，其中，元數(shù)據(jù)是描述在教師網(wǎng)絡中利用原始訓練數(shù)據(jù)獲得的特征圖的高斯混合參數(shù)。

15.根據(jù)權利要求12所述的電子系統(tǒng)，其中，輔助損失項包括來自教師網(wǎng)絡的至少一個批歸一化層的匹配統(tǒng)計和實例分類熵中的至少一個；或者來自教師網(wǎng)絡的至少一個批歸一化層的匹配統(tǒng)計和實例分類熵中的至少一個以及批量分類熵。