[發明專利]基于圖像卡通化的在線直播方法、裝置和電子設備

在審

• 申請號: 202011523785.2
• 申請日: 2020-12-22
• 公開（公告）號: CN112561786A
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 安晟;王巖;楊森;王巖;蔡紅
• 申請（專利權）人: 作業幫教育科技(北京)有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T13/40;G06K9/62;G06N3/08
• 代理公司: 北京清誠知識產權代理有限公司 11691
• 代理人: 李博

本發明屬于教育領域，提供一種基于圖像卡通化的在線直播方法、裝置、電子設備，該方法用于實時識別直播視頻流中的原始圖像，并將該原始圖像中的人臉圖像進行卡通化，所述方法還包括：收集真實人臉數據集和卡通人臉數據集，建立訓練數據集；基于生成對抗網絡，建立初始人物卡通頭像生成模型，使用訓練數據集進行交替訓練；根據約束規則，確定損失函數，并使用損失函數對所述交替訓練進行控制，以得到最終人物卡通頭像生成模型；獲取當前直播視頻流中待轉換的原始圖像，使用最終卡通頭像生成模型將所述原始圖像中的人臉圖像轉換為卡通人臉圖像。本發明能夠保證人物卡通圖像生成前后的圖像在顏色、位置、邊緣、紋理、頭像屬性等多維度上的一致性。

技術領域

本發明屬于教育領域，特別適用于線上教育領域，更具體的是涉及一種基于圖像卡通化的在線直播方法、裝置和電子設備。

背景技術

隨著互聯網絡的發展，越來越多的網絡課程涌現，老師通過網絡授課或在線課堂來傳授知識成為了重要的學習方式。

然而，在現有的一部分在線教育系統中，在具體課程學習過程中，通常存在老師與學員的交互過程。但是，在相關技術中，定位人臉以及各五官，再將人臉的各個器官分別轉化，然后再拼接在一起。上述方法對檢測模型的穩定性要求很高，對于交互場景中，位置的檢測還需要配合人工標注，顯然，上述方法無法滿足直播場景，并且分別生成再拼合的生成過程，成本相對較高。此外，由于分別生成的五官之間可能存在互相不協調的問題，同時還存在如何將生成好的五官拼合在一起、五官和面部連接處的處理、顏色一致性差等其他問題。因此，在如何生成更自然、更真實的卡通頭像方面，仍存在很大改進空間。

因此，有必要提供一種更有效的在線直播方法，能夠更自然且更有效進行圖像卡通化轉換。

發明內容

(一)要解決的技術問題

本發明旨在解決現有卡通圖像生成方法無法滿足直播場景中的實時生成、圖像顏色一致性差等問題。

(二)技術方案

為解決上述技術問題，本發明的一方面提出一種基于圖像卡通化的在線直播方法，其用于實時識別直播視頻流中的原始圖像，并將該原始圖像中的人臉圖像進行卡通化，所述方法還包括：收集真實人臉數據集和卡通人臉數據集，建立訓練數據集；基于生成對抗網絡，建立初始人物卡通頭像生成模型，該初始人物卡通頭像生成模型包括兩組生成器和判別器，使用所述訓練數據集對所述兩組生成器和判別器交替訓練；根據約束規則，確定損失函數，并使用所述損失函數對所述交替訓練進行控制，以得到最終人物卡通頭像生成模型；獲取當前直播視頻流中待轉換的原始圖像，使用所述最終卡通頭像生成模型將所述原始圖像中的人臉圖像轉換為卡通人臉圖像。

根據本發明的優選實施方式，還包括：預設約束規則，所述約束規則包括設定一致性參數、使損失函數最小化，所述一致性參數包括顏色一致性、位置一致性、紋理一致性、邊緣信息一致性中的至少兩個；所述約束規則還包括判斷特定縮放尺寸范圍內的真實人臉圖像與所生的人物卡通頭像中的臉部膚色、頭發顏色、背景顏色一致性。

根據本發明的優選實施方式，所述確定損失函數包括：選擇一致性參數，以確定損失函數，所確定的損失函數為：

L_total＝λ₁L_GAN(G,D_Y,X,Y)+λ₂L_GAN(F,D_X,Y,X)+λ₃L_cycle+λ₄L_color+λ₅L_texture(G,X)+λ₆L_attribute(G,X)