[發(fā)明專利]人物線稿生成方法、裝置、設備及介質

在審

• 申請?zhí)枺?/td>: 202210912212.1
• 申請日: 2022-07-28
• 公開（公告）號: CN115170388A
• 公開（公告）日: 2022-10-11
• 發(fā)明（設計）人: 方承煜;韓先鋒
• 申請（專利權）人: 西南大學
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06N3/04;G06N3/08
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 唐勇

本發(fā)明公開了一種人物線稿生成方法，包括：獲取目標人物圖片；將所述目標人物圖片輸入至預先訓練好的人物線稿模型中，通過人物線稿模型對目標人物圖片進行轉換，得到人物線稿；其中，人物線稿模型的訓練方法，包括：獲取人物圖片和與人物圖片對應的人物線稿；將人物圖片輸入至人物線稿模型的生成器中，生成與人物圖片對應的線條圖以及將線條圖與人物圖片對應的人物線稿輸入至人物線稿模型的判別器中；分別計算第一損失函數(shù)、第二損失函數(shù)、第三損失函數(shù)，進行加權求和，得到總損失函數(shù)；對生成器與判別器進行迭代更新，使總損失函數(shù)達到預設條件。本發(fā)明可以讓網(wǎng)絡獲得更好的幾何信息及語義信息的提取及結合能力，以此生成更加優(yōu)質及信息完整的線稿圖像。

技術領域

本發(fā)明屬于計算機視覺、多媒體技術及數(shù)字娛樂領域，具體涉及一種人物線稿生成方法、裝置、設備及介質。

背景技術

人物線描(Character Line Drawing，簡稱Line Art)的目的是將圖片/圖像域中的信息轉化為一個簡化的表示域，并用基本的圖形元素(如直線或曲線)表示平面的變化。它是一種抽象而靈活的藝術形式，其應用包括多種場景，如娛樂、關鍵藝術、漫畫和計算機生成動畫。高質量的線稿的繪制通常需要專業(yè)的藝術家或領域專家花費相當大的精力。更多的細節(jié)意味著在繪制過程中更多的困難，因此線稿藝術是被認為是一項勞動密集、費時費力、富有挑戰(zhàn)性的藝術。

在深度學習領域關于線稿圖的研究中，Zhang等人提出了一種分割填充機制來進行線稿藝術著色。首先將輸入的用戶涂鴉分成幾組進行影響區(qū)域估計，然后對每組進行數(shù)據(jù)驅動的顏色生成過程。這些輸出最終被合并，形成高質量的填充結果。Zheng等人首先設計了一個ShapeNet來學習線稿圖中的三維幾何信息，然后使用RenderNet來產(chǎn)生三維陰影。SmartShadow應用程序由三個數(shù)據(jù)驅動的工具組成，一個用于確定用戶想要創(chuàng)建陰影的區(qū)域的陰影刷，一個控制陰影邊界的陰影刷，以及一個基于估計的全局陰影方向生成整個圖像陰影的全局陰影發(fā)生器。Li等人利用殘差網(wǎng)絡和對稱跳過網(wǎng)絡的思想，建立了基于CNN的方法來解決漫畫圖像的結構線提取問題。為了生成多種風格和未見過的肖像畫。Yi等人利用非對稱循環(huán)結構設計了一個新穎的肖像畫生成架構，首次采用回歸網(wǎng)絡來計算APDrawing的質量分數(shù)。基于這個模型，定義了一個質量損失來指導網(wǎng)絡生成高質量的APDrawings。Im2Pencil和將線稿圖的生成過程作為一個獨立的子任務，以促進漫畫和插圖的合成。

利用這些人工智能技術，是否可以自動完成人物圖片到線稿風格的轉換？本質上，這個問題可以看作是一個將人物圖片/圖片轉換為線稿圖表示域的圖像到圖像的翻譯問題，而基于GAN的方法實際上也適用于解決這個問題。

圖像翻譯方法(例如Pix2pix、Cycle GAN)也可以自動完成人物圖片到線稿風格的轉換。但由于，(1)手工繪制的人物線條是抽象的和稀疏的，完全不同于其他圖像翻譯應用；(2)語義信息缺失導致線條不清晰和不完整的問題，無法實現(xiàn)高質量的人物繪圖。

發(fā)明內(nèi)容

鑒于以上所述現(xiàn)有技術的缺點，本發(fā)明提供一種人物線稿生成方法、裝置、設備及介質，以解決上述技術問題。

本發(fā)明提供的一種人物線稿生成方法，所述方法包括：

獲取目標人物圖片；

將所述目標人物圖片輸入至預先訓練好的人物線稿模型中，通過所述人物線稿模型對所述目標人物圖片進行轉換，得到人物線稿；其中，所述人物線稿模型的訓練方法，包括：

獲取人物圖片和與人物圖片對應的人物線稿；

將人物圖片輸入至人物線稿模型的生成器中，生成與人物圖片對應的線條圖，以及將所述線條圖與所述人物圖片對應的人物線稿輸入至人物線稿模型的判別器中；

分別計算第一損失函數(shù)、第二損失函數(shù)、第三損失函數(shù)，所述第一損失函數(shù)為生成器的損失函數(shù)，所述第二損失函數(shù)用于表示所述人物線稿與所述線條圖之間的誤差，所述第三損失函數(shù)為判別器的損失函數(shù)；