[發明專利]對風格遷移網絡的壓縮方法及風格遷移方法、裝置和系統

在審

• 申請號: 202010733581.5
• 申請日: 2020-07-27
• 公開（公告）號: CN111932445A
• 公開（公告）日: 2020-11-13
• 發明（設計）人: 武泰屹;項偉
• 申請（專利權）人: 廣州市百果園信息技術有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T9/00;G06N3/04;G06K9/62
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本申請公開了一種對風格遷移網絡的壓縮方法及風格遷移方法、裝置和系統，其中該風格遷移的方法可以包括：在獲得內容圖像對應的內容特征圖和風格圖像對應的風格特征圖以后，分別對所述內容特征圖以及所述風格特征圖逐通道進行排序；獲取排序后的內容特征圖的次序統計信息，并按照所述次序統計信息對排序后的風格特征圖進行重排；根據所述內容特征圖以及重排后的風格特征圖生成風格遷移圖像。從而實現對該指定內容特征圖對應的內容圖像的任意風格遷移，無需針對新的風格重新訓練模型，可擴展性強。

技術領域

本申請實施例涉及圖像或視頻處理技術，尤其涉及一種對風格遷移網絡的壓縮方法及風格遷移方法、裝置和系統。

背景技術

在計算機視覺領域，風格遷移(style transfer)是很重要的一類圖像編輯任務，風格遷移的目的是將一張風格圖像(style image)的視覺元素遷移到另一張內容圖像(content image)，從而生成風格化的圖像(stylized image)。

在相關技術中，實現風格遷移的方式有兩種：

一種是基于在線圖像優化的風格遷移算法。該方案通過讓重建后的圖像以梯度下降的方式更新像素值，使其風格統計量(如格拉姆Gram矩陣)接近風格圖像的風格統計量，然后使其VGG(Visual Geometry Group Network)網絡的高層特征表達接近內容圖像的特征表達，從而獲得同時擁有風格圖像和內容圖像特點的重建圖像。該方案的缺點是圖像重建的優化速度較慢，效率較低，不利于工業化的部署。

另一種是基于離線模型優化的風格遷移算法。該方案是通過預訓練的前向網絡，在重建圖像的同時加入風格圖的信息。該方法是目前工業界采用的主要方法，該方法的缺點是單個模型可以學習的風格較少，通常對于一個新的風格需要重新訓練新的模型，可擴展性較弱。

同時，上述的風格遷移方法均存在參數量較多、計算開銷較大、不利于移動端部署的問題。

發明內容

本申請提供一種對風格遷移網絡的壓縮方法及風格遷移方法、裝置和系統，以解決單個風格遷移模型可以學習的風格較少，可擴展性較弱，以及現有的風格遷移模型的參數量較多、計算開銷較大、不利于移動端部署的問題。

第一方面，本申請實施例提供了一種風格遷移的方法，所述方法包括：

在獲得內容圖像對應的內容特征圖和風格圖像對應的風格特征圖以后，分別對所述內容特征圖以及所述風格特征圖逐通道進行排序；

獲取排序后的內容特征圖的次序統計信息，并按照所述次序統計信息對排序后的風格特征圖進行重排；

根據所述內容特征圖以及重排后的風格特征圖生成風格遷移圖像。

第二方面，本申請實施例還提供了一種風格遷移系統，所述風格遷移系統中包括風格遷移網絡，所述風格遷移網絡包括編碼網絡、風格映射單元以及解碼網絡，其中，

所述編碼網絡，用于對輸入的內容圖像以及風格圖像進行編碼處理，生成對應的內容特征圖以及風格特征圖，并將所述內容特征圖以及所述風格特征圖輸出至所述風格映射單元，以及，將所述內容特征圖輸入至所述解碼網絡；

所述風格映射單元，用于分別對所述內容特征圖以及所述風格特征圖逐通道進行排序；獲取排序后的內容特征圖的次序統計信息，并按照所述次序統計信息對排序后的風格特征圖進行重排，以及，將重排后的風格特征圖輸入至所述解碼網絡；

所述解碼網絡，用于根據所述內容特征圖以及重排后的風格特征圖生成風格遷移圖像。

第三方面，本申請實施例還提供了一種對上述的風格遷移網絡進行壓縮的方法，所述方法包括：

將風格遷移網絡作為教師網絡，并建立一個與所述教師網絡具有相似結構的學生網絡；