[發明專利]對風格遷移網絡的壓縮方法及風格遷移方法、裝置和系統

在審

• 申請號: 202010733581.5
• 申請日: 2020-07-27
• 公開（公告）號: CN111932445A
• 公開（公告）日: 2020-11-13
• 發明（設計）人: 武泰屹;項偉
• 申請（專利權）人: 廣州市百果園信息技術有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T9/00;G06N3/04;G06K9/62
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種風格遷移的方法，其特征在于，所述方法包括：

在獲得內容圖像對應的內容特征圖和風格圖像對應的風格特征圖以后，分別對所述內容特征圖以及所述風格特征圖逐通道進行排序；

獲取排序后的內容特征圖的次序統計信息，并按照所述次序統計信息對排序后的風格特征圖進行重排；

根據所述內容特征圖以及重排后的風格特征圖生成風格遷移圖像。

2.根據權利要求1所述的風格遷移的方法，其特征在于，所述分別對所述內容特征圖以及所述風格特征圖逐通道進行排序包括：

分別對所述內容特征圖以及所述風格特征圖逐通道進行向量化處理，獲得對應的內容特征向量以及風格特征向量；

分別對所述內容特征向量以及所述風格特征向量逐通道進行排序。

3.根據權利要求2所述的風格遷移的方法，其特征在于，所述獲取排序后的內容特征圖的次序統計信息，并按照所述次序統計信息對排序后的風格特征圖進行重排包括：

將排序前的內容特征向量與排序后的內容特征向量進行比較，確定排序后的內容特征向量的排序索引，作為次序統計信息，其中，所述排序索引為排序前的內容特征向量中的特征元素位于排序后的內容特征向量中的次序；

按照所述次序統計信息對排序后的風格特征向量進行重排；

恢復重排后的風格特征向量的空間維度，得到重排后的風格特征圖。

4.根據權利要求1-3任一項所述的風格遷移的方法，其特征在于，所述根據所述內容特征圖以及重排后的風格特征圖生成風格遷移圖像包括：

將所述內容特征圖以及重排后的風格特征圖輸入至預訓練的解碼網絡中，以由所述解碼網絡對所述內容特征圖以及重排后的風格特征圖進行解碼重建，生成風格遷移圖像，其中，所述內容特征圖的不同層級的內容特征信息以跳躍連接的方式被引入到解碼網絡中。

5.一種風格遷移系統，其特征在于，所述風格遷移系統中包括風格遷移網絡，所述風格遷移網絡包括編碼網絡、風格映射單元以及解碼網絡，其中，

所述編碼網絡，用于對輸入的內容圖像以及風格圖像進行編碼處理，生成對應的內容特征圖以及風格特征圖，并將所述內容特征圖以及所述風格特征圖輸出至所述風格映射單元，以及，將所述內容特征圖輸入至所述解碼網絡；

所述風格映射單元，用于分別對所述內容特征圖以及所述風格特征圖逐通道進行排序；獲取排序后的內容特征圖的次序統計信息，并按照所述次序統計信息對排序后的風格特征圖進行重排，以及，將重排后的風格特征圖輸入至所述解碼網絡；

所述解碼網絡，用于根據所述內容特征圖以及重排后的風格特征圖生成風格遷移圖像。

6.根據權利要求5所述的風格遷移系統，其特征在于，所述解碼網絡的輸入層的輸入是所述重排后的風格特征圖，所述內容特征圖的不同層級的內容特征信息以跳躍連接的方式被引入到解碼網絡中。

7.根據權利要求5或6所述的風格遷移系統，其特征在于，所述編碼網絡還用于將所述風格特征圖輸出至所述解碼網絡中，所述解碼網絡中還包括AdaIN子網絡；所述AdaIN子網絡的輸入包括前向網絡中前一層的輸出和對應尺度的風格特征圖，所述AdaIN子網絡用于根據所述風格特征圖的均值和方差，逐通道地對所述前向網絡中前一層的輸出進行歸一化處理。

8.根據權利要求5所述的風格遷移系統，其特征在于，所述風格遷移系統還包括：

模型壓縮模塊，用于對所述風格遷移網絡進行模型壓縮處理。

9.根據權利要求8所述的風格遷移系統，其特征在于，所述模型壓縮模塊包括：

學生網絡創建子模塊，用于將所述風格遷移網絡作為教師網絡，并建立一個與所述教師網絡具有相似結構的學生網絡；

關聯子模塊，用于采用一個預設大小的卷積將所述教師網絡不同層的輸出與所述學生網絡的對應層相連；

學生網絡訓練子模塊，用于固定所述教師網絡的權重，按照預設的損失函數，對所述學生網絡進行訓練，訓練得到的網絡作為壓縮后的風格遷移網絡。