[發(fā)明專利]直播風格化處理方法、裝置、計算設備及存儲介質

有效

• 申請?zhí)枺?/td>: 201710558591.8
• 申請日: 2017-06-30
• 公開（公告）號: CN107277615B
• 公開（公告）日: 2020-06-23
• 發(fā)明（設計）人: 申發(fā)龍;顏水成;曾鋼
• 申請（專利權）人: 北京奇虎科技有限公司
• 主分類號: H04N21/44
• 分類號: H04N21/44;H04N21/234;H04N21/235;H04N21/435;G06N3/08
• 代理公司: 北京市浩天知識產權代理事務所(普通合伙) 11276
• 代理人: 宋菲;劉云貴

本發(fā)明公開了一種直播風格化處理方法、裝置、計算設備及計算機存儲介質，其中，直播風格化處理方法包括：獲取第一圖像；得到與第一圖像的風格對應的第二網絡；提取直播視頻中的幀圖像；利用第二網絡對直播視頻中的幀圖像進行風格化處理；展示處理后的直播視頻。根據本發(fā)明提供的技術方案，能夠方便地、實時地對直播視頻中的幀圖像進行風格化處理，實現了對直播視頻的實時風格化處理。

技術領域

本發(fā)明涉及圖像處理技術領域，具體涉及一種直播風格化處理方法、裝置、計算設備及計算機存儲介質。

背景技術

利用圖像風格化處理技術，能夠將風格圖像上的風格轉移到日常拍攝的圖像上，使得圖像能夠獲得更好的視覺效果。在現有技術中，是將一個給定的風格圖像直接輸入至一個神經網絡(neural network)中，然后利用大量的內容圖像作為樣本圖像，經過多次迭代訓練得到與給定的風格圖像對應的圖像轉換網絡，利用該圖像轉換網絡實現輸入內容圖像的風格轉換。

現有技術中，對于任意給定的風格圖像，都需要進行成千上萬次的迭代運算對神經網絡進行訓練，得到該風格對應的圖像轉換網絡。在圖像轉換網絡的訓練過程中，成千上萬次的迭代運算造成計算量巨大，這將會需要很長的訓練時間，導致風格化處理的效率低下。因此，也很難實現實時地對直播視頻進行風格化處理。

發(fā)明內容

鑒于上述問題，提出了本發(fā)明以便提供一種克服上述問題或者至少部分地解決上述問題的直播風格化處理方法、裝置、計算設備及計算機存儲介質。

根據本發(fā)明的一個方面，提供了一種直播風格化處理方法，該方法包括：

獲取第一圖像；

得到與第一圖像的風格對應的第二網絡；

提取直播視頻中的幀圖像；

利用第二網絡對直播視頻中的幀圖像進行風格化處理；

展示處理后的直播視頻。

進一步地，在提取直播視頻中的幀圖像之前，該方法還包括：

獲取直播視頻。

進一步地，得到與第一圖像的風格對應的第二網絡的步驟由終端或服務器執(zhí)行；

得到與第一圖像的風格對應的第二網絡進一步包括：

將第一圖像輸入至經過訓練的第一網絡中，得到與第一圖像的風格對應的第二網絡。

進一步地，第一網絡訓練所用的樣本圖像包含：風格圖像庫存儲的多個第一樣本圖像和內容圖像庫存儲的多個第二樣本圖像。

進一步地，第一網絡的訓練過程通過多次迭代完成；在一次迭代過程中，從風格圖像庫中提取一個第一樣本圖像，從內容圖像庫中提取至少一個第二樣本圖像，利用一個第一樣本圖像和至少一個第二樣本圖像實現第一網絡的訓練。

進一步地，在多次迭代過程中，固定提取一個第一樣本圖像，替換地提取至少一個第二樣本圖像；當內容圖像庫中的第二樣本圖像提取完畢后，替換下一個第一樣本圖像，再替換地提取至少一個第二樣本圖像。

進一步地，第一網絡的訓練過程通過多次迭代完成；其中一次迭代過程包括：

利用與第一樣本圖像的風格對應的第二網絡，生成與第二樣本圖像對應的第三樣本圖像；

根據第三樣本圖像與第一樣本圖像之間的風格損失以及第三樣本圖像與第二樣本圖像之間的內容損失，得到第一網絡損失函數，利用第一網絡損失函數實現第一網絡的訓練。

進一步地，第一網絡的訓練步驟包括：

從風格圖像庫中提取一個第一樣本圖像，從內容圖像庫中提取至少一個第二樣本圖像；