[發明專利]訓練生成模型和判別模型

在審

• 申請號: 202010690706.0
• 申請日: 2020-07-17
• 公開（公告）號: CN112241784A
• 公開（公告）日: 2021-01-19
• 發明（設計）人: A·M·慕諾茲德爾加多
• 申請（專利權）人: 羅伯特·博世有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;B60R16/02;G05D1/02
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 劉茜璐;陳嵐

1.一種用于訓練生成模型和判別模型的系統（100），其中，所述生成模型被配置為從潛在特征向量生成合成實例，并且所述判別模型被配置為確定用于輸入實例的多個部分的多個判別器得分，用于所述輸入實例的部分的判別器得分指示所述部分是來自合成實例還是實際實例，所述系統包括：

- 數據接口（120），用于訪問一組實際實例（030）以及所述生成模型的參數（041）和所述判別模型的參數（042）；以及

- 處理器（140），被配置為通過重復地訓練所述判別模型以減少在所述實際實例與由所述生成模型生成的合成實例之間的區分的第一損失并且訓練所述生成模型以減少生成所述判別模型指示為實際實例的合成實例的第二損失來學習所述生成模型和所述判別模型的參數，其中：

- 所述生成模型被配置為通過從所述潛在特征向量生成中間表示并且從所述中間表示生成合成實例來從所述潛在特征向量生成合成實例；以及

- 所述處理器子系統（140）被配置為通過反向傳播從潛在特征向量生成的合成實例的所述第二損失來訓練所述生成模型，其通過：

- 使用所述判別模型來確定用于所述合成實例的所述多個部分的多個判別器得分；

- 計算所述損失相對于所述中間表示的梯度，所述梯度包括所述損失相對于所述中間表示的條目的偏導數；

- 基于用于所述合成實例的部分的判別器得分來更新所述損失相對于所述中間表示的條目的偏導數，其中所述合成實例的所述部分至少部分基于所述中間表示的所述條目而生成，并且其中，如果所述判別器得分指示實際實例，則所述偏導數的值減?。灰约?/p>

- 基于更新的梯度進一步反向傳播所述損失。

2.根據權利要求1所述的系統（100），其中，所述生成模型被配置為生成合成圖像，并且所述判別器模型被配置為確定用于輸入圖像的各部分的判別器得分。

3.根據前述權利要求中任一項所述的系統（100），其中，所述生成模型包括神經網絡，所述處理器（140）被配置為通過所述神經網絡的一個或多個卷積層從所述中間表示計算所述合成實例。

4.根據權利要求3所述的系統（100），其中，所述處理器（140）被配置為在所述神經網絡的層中計算所述中間表示，在所述層之前的層的數量大于或等于在所述層之后的層的數量。

5.根據前述權利要求中任一項所述的系統（100），其中，所述判別模型包括神經網絡，所述處理器（140）被配置為通過所述神經網絡的卷積層基于所述合成實例中的相應接受域來計算相應判別器得分。

6.根據前述權利要求中任一項所述的系統（100），其中，由所述判別模型確定的所述判別器得分形成第一數據體積，并且由所述生成模型生成的所述中間表示形成相應的第二數據體積，所述處理器（140）被配置為通過將所述判別器得分從第一體積縮放到相應的第二體積并且基于相應的縮放的判別器得分更新相應的偏導數來更新所述損失的所述梯度。

7.根據權利要求6所述的系統（100），其中，所述處理器（140）被配置為通過計算原始偏導數和縮放的判別器得分的Hadamard乘積來基于相應的縮放的判別器得分更新相應的偏導數。

8.根據前述權利要求中任一項所述的系統（100），其中，所述損失函數包括二元交叉熵。

9.根據前述權利要求中任一項所述的系統（100），其中，所述處理器（140）被配置為根據所述偏導數和所述判別器得分來更新所述損失的所述偏導數。

10.根據前述權利要求中任一項所述的系統（100），其中，用于輸入實例的所述多個判別器得分一起形成判別器實例，所述系統還包括輸出接口（180），所述輸出接口用于以可感官感知的方式向用戶輸出一個或多個判別器實例。