[發明專利]模型生成方法、風格化圖像生成方法、裝置及電子設備

在審

• 申請號: 202310076630.6
• 申請日: 2023-01-17
• 公開（公告）號: CN116309890A
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 董羿;林敏軒;李夢天;黃海斌;馬重陽
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G06T9/00
• 分類號: G06T9/00;G06T5/00;G06V10/80;G06N3/04;G06N3/08
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 龐靜

本公開關于一種模型生成方法、風格化圖像生成方法、裝置及電子設備，涉及計算機技術領域，該方法基于圖像編解碼模型中的編碼層對圖像內容相同的樣本內容圖及樣本風格圖分別進行編碼，得到樣本內容圖及樣本風格圖各自對應的樣本特征。基于待訓練風格化模型將樣本風格圖對應的樣本特征與隨機噪聲數據融合，以生成樣本噪聲特征。基于樣本噪聲特征及樣本內容圖對應的樣本特征生成預測噪聲數據，并基于預測噪聲數據以及隨機噪聲數據訓練待訓練風格化模型，直至達到第一停止條件，結束訓練并將當前的待訓練風格化模型作為風格化處理模型；風格化處理模型用于將待處理圖像轉換為符合預設風格的風格化圖像。一定程度上可以提高獲得風格化圖像的便捷度。

技術領域

本公開涉及計算機技術領域，尤其涉及一種模型生成方法、風格化圖像生成方法、裝置及電子設備。

背景技術

目前，對圖像進行處理的手段越來越豐富。其中，對圖像進行風格化處理的需求越來越多。風格化又可以稱為風格遷移，風格化相當于使用參考的風格圖像來呈現內容圖像，即，將一張具有藝術特色的圖像的風格遷移到一張普通的內容圖像上。對圖像進行風格化處理，使得使內容圖像在保留原始內容的同時，獲得額外的藝術風格，例如，插畫、卡通、漫畫、油畫、水墨等風格。

因此，如何便捷的獲得風格化圖像成為亟需解決的技術問題。

發明內容

本公開提供一種模型生成方法、風格化圖像生成方法、裝置及電子設備，以解決如何便捷的獲得風格化圖像的問題。本公開的技術方案如下：

根據本公開實施例的第一方面，提供了一種模型生成方法，包括：

基于圖像編解碼模型中的編碼層對圖像內容相同的樣本內容圖及樣本風格圖分別進行編碼，得到所述樣本內容圖及所述樣本風格圖各自對應的樣本特征；所述樣本內容圖與所述樣本風格圖的風格不同，所述樣本風格圖為預設風格的圖像；

基于待訓練風格化模型將所述樣本風格圖對應的樣本特征與隨機噪聲數據融合，以生成樣本噪聲特征；

基于所述樣本噪聲特征及所述樣本內容圖對應的樣本特征生成預測噪聲數據，并基于所述預測噪聲數據以及所述隨機噪聲數據訓練所述待訓練風格化模型，直至達到第一停止條件，結束訓練并將當前的待訓練風格化模型作為風格化處理模型；所述風格化處理模型用于將待處理圖像轉換為符合所述預設風格的風格化圖像。

可選的，所述基于所述樣本噪聲特征及所述樣本內容圖對應的樣本特征生成預測噪聲數據，包括：

將所述樣本噪聲特征、第一預設時刻及所述樣本內容圖對應的樣本特征輸入所述待訓練風格化模型的噪聲預測層，得到所述第一預設時刻對應的預測噪聲數據；

所述基于所述預測噪聲數據以及所述隨機噪聲數據訓練所述待訓練風格化模型，包括：

基于所述預測噪聲數據以及所述隨機噪聲數據對所述待訓練風格化模型進行參數調整。

可選的，所述將所述樣本噪聲特征、第一預設時刻及所述樣本內容圖對應的樣本特征輸入所述待訓練風格化模型的噪聲預測層，包括：

對所述第一預設時刻進行向量化處理，得到時間特征，以及，對所述樣本噪聲特征以及所述樣本內容圖對應的樣本特征進行拼接，得到拼接特征；

將所述拼接特征以及所述時間特征輸入所述待訓練風格化模型的噪聲預測層。

可選的，所述方法還包括：

將預設樣本圖作為待訓練編解碼模型的輸入，并通過所述待訓練編解碼模型中的編碼層按照指定倍率對所述預設樣本圖進行下采樣，得到所述預設樣本圖在隱空間下的隱狀態特征；

通過所述待訓練編解碼模型中的解碼層對所述隱狀態特征進行解碼，得到所述預設樣本圖對應的重建圖像；