[發明專利]劉海生成方法、裝置、計算機設備和存儲介質

在審

• 申請號: 202110184795.6
• 申請日: 2021-02-10
• 公開（公告）號: CN112862672A
• 公開（公告）日: 2021-05-28
• 發明（設計）人: 嚴鑫毅
• 申請（專利權）人: 廈門美圖之家科技有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京清大紫荊知識產權代理有限公司 11718
• 代理人: 黃貞君;張卓

本發明提供了一種劉海生成方法、裝置、計算機設備和存儲介質，屬于圖像生成領域，具體包括采用預先訓練的編碼器從待處理圖像中提取包含圖像特征的圖像隱向量，所述編碼器是神經網絡通過殘差網絡基于自加權機制對樣本圖像訓練得到的；通過支持向量機訓練模型生成與劉海生長方向對應的方向向量；根據所述方向向量對所述圖像隱向量進行編輯；對編輯后的所述圖像隱向量進行圖片轉換，生成具有劉海的人像圖像。通過本申請的處理方案，基于神經網絡生成發絲清晰、質感真實、沒有違和感的劉海。

技術領域

本發明涉及圖像生成領域，具體涉及一種基于神經網絡的劉海生成方法、裝置、計算機設備和存儲介質。

背景技術

在圖像生成領域中，人臉屬性編輯一直是備受重視的研究方向之一，而劉海生成是屬于人臉屬性編輯中的子項。每個人的頭發都有自己的特點，顏色、走勢、發量和光澤等屬性不盡相同，這造成了想要生成逼真的劉海是一件非常困難的事情。想要整體頭發沒有違和感，就使得生成劉海必須盡可能的接近于原始頭發的質感，同時也要求有很高的魯棒性能夠適應不同人的不同頭發。如果生成劉海的質感與原始頭發相差較多，那么最后生成的效果就像是戴了假發，極大的影響用戶的體驗。而且目前學術界人臉屬性編輯的方案生成的劉海質量大都非常差，沒有發絲的細節，同時也與原始頭發差距較大，違和感嚴重。

發明內容

因此，為了克服上述現有技術的缺點，本發明提供了一種基于神經網絡生成發絲清晰、質感真實、沒有違和感的劉海的劉海生成方法、裝置、計算機設備和存儲介質。

為了實現上述目的，本發明提供一種基于神經網絡的劉海生成方法，包括：采用預先訓練的編碼器從待處理圖像中提取包含圖像特征的圖像隱向量，所述編碼器是神經網絡通過殘差網絡基于自加權機制對樣本圖像訓練得到的；通過支持向量機訓練模型生成與劉海生長方向對應的方向向量；根據所述方向向量對所述圖像隱向量進行編輯；對編輯后的所述圖像隱向量進行圖片轉換，生成具有劉海的人像圖像。

在其中一個實施例中，所述采用預先訓練的編碼器從待處理圖像中提取包含圖像特征的圖像隱向量，包括：采用所述編碼器的卷積神經網絡從所述待處理圖像中提取特征圖數據；采用殘差網絡分別提取所述特征圖數據中的與每個通道域對應的通道權重和每個空間域對應的空間權重；根據所述通道權重和所述空間權重對所述特征圖數據進行加權處理；采用Instance Normalization對每層所述殘差網絡的所述特征圖數據進行歸一化，輸出與該層所述殘差網絡對應的隱向量；將所有所述殘差網絡輸出的隱向量匯總到一起，就得到了與所述待處理圖像對應的圖像隱向量。

在其中一個實施例中，所述編碼器的訓練步驟，包括：獲取包含不同的樣本圖片數據的網絡訓練數據集；采用卷積神經網絡對所述樣本圖片數據做特征提取，經過殘差網絡對特征信息進行轉換；將轉換后的所述特征信息輸入加權網絡進行調整，將調整后的所述特征信息輸入反卷積網絡中生成對應的圖像數據；根據預期效果與生成的所述圖像數據對所述卷積網絡、加權網絡、殘差網絡進行調整，生成編碼器。

在其中一個實施例中，所述支持向量機訓練模型的訓練方法，包括：隨機生成一批帶有隱向量的訓練樣本圖片，并使用預訓練的劉海分類器把訓練圖片分為有劉海標記和無劉海標記兩類，將所述訓練樣本圖片的隱向量與所述訓練樣本圖片對應存儲為兩類；基于所述訓練樣本圖片和所述隱向量作為正負樣本訓練支持向量機訓練模型，所述支持向量機訓練模型是一個具有將隱向量分配給有劉海或無劉海的超平面的非概率二元線性分類器；計算所述支持向量機模型超平面的法線，得到劉海生長方向的方向向量。

在其中一個實施例中，所述通過支持向量機訓練模型生成與劉海生長方向對應的方向向量，包括：所述支持向量機訓練模型將隱向量表示為空間中的點，通過所述超平面確定所述訓練樣本圖片從無劉海到有劉海的方向向量；所述方向向量的形狀和所述圖像隱向量保持一致，其中在對劉海有影響的層中，方向向量具有不為零的值，而在對劉海沒有影響的層中，方向向量的值為零。