[發明專利]產生式模型的訓練方法、數據生成方法、裝置、介質和設備

有效

• 申請號: 202010697904.X
• 申請日: 2020-07-20
• 公開（公告）號: CN111598189B
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 陳鍵飛;朱軍;田天
• 申請（專利權）人: 北京瑞萊智慧科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08;G06N3/04
• 代理公司: 北京志霖恒遠知識產權代理事務所(普通合伙) 11435
• 代理人: 郭棟梁

本發明的實施方式提供了一種產生式模型的訓練方法，所述產生式模型包括數據增廣網絡和概率變換網絡，所述方法包括：通過所述數據增廣網絡基于訓練數據和一隨機數進行數據增廣；計算增廣得到的數據的概率密度；將所述訓練數據和增廣得到的數據拼接；通過所述概率變換網絡基于拼接后的數據進行變換；獲取變換后的拼接數據的概率密度；以使增廣得到的數據的概率密度和變換得到的數據的概率密度之差最小為目標進行優化，以更新所述數據增廣網絡和概率變換網絡的參數。此外，本發明的實施方式提供了一種數據生成方法。本發明的產生式模型的訓練方法和數據生成方法，基于變分思想學習最優的數據增廣網絡和概率變換網絡，能夠提升模型的表達能力。

技術領域

本發明的實施方式涉及人工智能領域，更具體地，本發明的實施方式涉及一種產生式模型的訓練方法、數據生成方法、裝置、介質和設備。

背景技術

本部分旨在為權利要求書中陳述的本發明的實施方式提供背景或上下文。此處的描述不因為包括在本部分中就承認是現有技術。

數據增廣是深度學習中常用的技巧之一，主要用于增加訓練數據集，讓數據集盡可能的多樣化，使得訓練的模型具有更強的泛化能力。目前數據增廣的方式主要包括：水平/垂直翻轉，旋轉，縮放，裁剪，剪切，平移等。

產生式模型根據數據的分布進行建模，可以實現圖像、文字、視頻生成，藝術創作，語音合成等一系列數據生成任務。當前的產生式模型用于數據生成需要解決的主要問題是：模型的表達能力需要足夠強，可以擬合足夠復雜的分布，如圖像分布；此外計算需要足夠高效，如模型的概率密度可以精確求解而無需采用數值方法近似，可以從模型中并行采樣大量樣本等。

現有技術中，生成對抗網絡、變分自編碼器等模型無法精確計算概率密度，而需要采用核密度估計等數值手段近似，計算效率低；像素卷積神經網絡模型無法高效并行采樣，計算效率同樣低下；而高效的正規化流模型需要滿足可逆性限制，表達能力弱，生成效果差。

通過上述描述可見，已有的數據生成方法無法同時滿足表達能力強和計算效率高的要求。

發明內容

在本上下文中，本發明的實施方式期望提供一種產生式模型的訓練方法、數據生成方法、裝置、介質和設備。

在本發明實施方式的第一方面中，提供了一種產生式模型的訓練方法，所述產生式模型包括數據增廣網絡和概率變換網絡，所述方法包括：

通過所述數據增廣網絡基于訓練數據和一隨機數進行數據增廣；

計算增廣得到的數據的概率密度；

將所述訓練數據和增廣得到的數據拼接；

通過所述概率變換網絡基于拼接后的數據進行變換；

獲取變換后的拼接數據的概率密度；

以使增廣得到的數據的概率密度和變換得到的數據的概率密度之差最小為目標進行優化，以更新所述數據增廣網絡和概率變換網絡的參數。

在本實施方式的一個實施例中，所述隨機數根據預設條件生成。

在本實施方式的一個實施例中，所述預設條件至少包括待生成隨機數的維度以及生成的隨機數需服從的數據分布。

在本實施方式的一個實施例中，所述訓練數據中包括多個訓練樣本。

在本實施方式的一個實施例中，所述數據增廣網絡包括至少一個可逆變換層，其中每一可逆變換層的正向變換的輸入為所述訓練數據和初始輸入的隨機數或前一可逆變換層輸出的變換后的隨機數，輸出為變換后的隨機數以及所述變換的雅克比矩陣的行列式的對數。

在本實施方式的一個實施例中，計算增廣得到的數據的概率密度，包括：

計算初始輸入的所述隨機數在標準正態分布下的概率密度；