[發明專利]直播風格化處理方法、裝置、計算設備及存儲介質

有效

• 申請號: 201710558591.8
• 申請日: 2017-06-30
• 公開（公告）號: CN107277615B
• 公開（公告）日: 2020-06-23
• 發明（設計）人: 申發龍;顏水成;曾鋼
• 申請（專利權）人: 北京奇虎科技有限公司
• 主分類號: H04N21/44
• 分類號: H04N21/44;H04N21/234;H04N21/235;H04N21/435;G06N3/08
• 代理公司: 北京市浩天知識產權代理事務所(普通合伙) 11276
• 代理人: 宋菲;劉云貴

1.一種直播風格化處理方法，所述方法包括：

獲取第一圖像；

將所述第一圖像輸入至經過訓練的第一網絡中，在所述第一網絡中進行一次前向傳播運算，得到與所述第一圖像的風格對應的第二網絡；其中，所述第一網絡訓練所用的樣本圖像包含：風格圖像庫存儲的多個第一樣本圖像和內容圖像庫存儲的多個第二樣本圖像；

提取直播視頻中的幀圖像；

利用所述第二網絡對所述直播視頻中的幀圖像進行風格化處理；

展示處理后的直播視頻；

其中，所述第一網絡的訓練過程通過多次迭代完成；在多次迭代過程中，固定提取一個第一樣本圖像，替換地提取至少一個第二樣本圖像；當所述內容圖像庫中的第二樣本圖像提取完畢后，替換下一個第一樣本圖像，再替換地提取至少一個第二樣本圖像。

2.根據權利要求1所述的方法，其中，在所述提取直播視頻中的幀圖像之前，所述方法還包括：

獲取直播視頻。

3.根據權利要求1所述的方法，其中，所述得到與所述第一圖像的風格對應的第二網絡的步驟由終端或服務器執行。

4.根據權利要求1所述的方法，其中，在一次迭代過程中，從所述風格圖像庫中提取一個第一樣本圖像，從所述內容圖像庫中提取至少一個第二樣本圖像，利用所述一個第一樣本圖像和所述至少一個第二樣本圖像實現第一網絡的訓練。

5.根據權利要求1所述的方法，其中一次迭代過程包括：

利用與第一樣本圖像的風格對應的第二網絡，生成與第二樣本圖像對應的第三樣本圖像；

根據所述第三樣本圖像與所述第一樣本圖像之間的風格損失以及所述第三樣本圖像與所述第二樣本圖像之間的內容損失，得到第一網絡損失函數，利用所述第一網絡損失函數實現第一網絡的訓練。

6.根據權利要求1-5任一項所述的方法，其中，所述第一網絡的訓練步驟包括：

從所述風格圖像庫中提取一個第一樣本圖像，從所述內容圖像庫中提取至少一個第二樣本圖像；

將所述第一樣本圖像輸入至第一網絡中，得到與所述第一樣本圖像的風格對應的第二網絡；

利用與所述第一樣本圖像的風格對應的第二網絡，分別針對至少一個第二樣本圖像生成對應的第三樣本圖像；

根據至少一個第三樣本圖像與所述第一樣本圖像之間的風格損失以及至少一個第三樣本圖像與對應的第二樣本圖像之間的內容損失，得到第一網絡損失函數，根據所述第一網絡損失函數更新所述第一網絡的權重參數；

迭代執行所述第一網絡的訓練步驟，直至滿足預定收斂條件。

7.根據權利要求6所述的方法，其中，所述預定收斂條件包括：迭代次數達到預設迭代次數；和/或，所述第一網絡損失函數的輸出值小于預設閾值；和/或，與所述第二樣本圖像對應的第三樣本圖像的視覺效果參數達到預設視覺效果參數。

8.根據權利要求6所述的方法，其中，所述將所述第一樣本圖像輸入至第一網絡中，得到與所述第一樣本圖像的風格對應的第二網絡進一步包括：

從所述第一樣本圖像中提取風格紋理特征；

將所述風格紋理特征輸入至第一網絡中，得到與所述風格紋理特征對應的第二網絡。

9.根據權利要求1-5任一項所述的方法，其中，所述第二網絡為圖像轉換網絡。

10.根據權利要求1-5任一項所述的方法，其中，所述第一網絡為對神經網絡進行訓練得到的元網絡。