[發明專利]基于自注意力級聯生成對抗網絡的人臉圖像修復方法

在審

• 申請號: 202110304552.1
• 申請日: 2021-03-22
• 公開（公告）號: CN112949553A
• 公開（公告）日: 2021-06-11
• 發明（設計）人: 陳懋寧
• 申請（專利權）人: 陳懋寧
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06N3/08;G06N3/04
• 代理公司: 沈陽易通專利事務所 21116
• 代理人: 夏子涵

本發明公開了一種基于自注意力級聯生成對抗網絡的人臉圖像修復方法，包括：獲取待修復的原始缺損人像；基于所述原始缺損人像處理得到對應的：灰度缺損人像、缺損輪廓人像和標記所述原始缺損人像中缺損區域的掩膜；輪廓修復生成對抗網絡模型基于所述掩膜、所述灰度缺損人像和所述缺損輪廓人像輸出修復輪廓人像；包含有自注意力機制層的填補生成對抗網絡模型基于所述修復輪廓人像、原始缺損人像和所述掩膜處理得到完整修復人像。本發明的算法是基于深度學習的算法并針對人臉修復引入了自注意力機制，能夠充分利用圖像中的信息，相較于現有算法，可修復大面積，不規則的圖像缺損，修復效果可量化評估，算法的魯棒性和普適性強，且修復效果好。

技術領域

本發明涉及一種人臉圖像修復方法，特別是一種基于自注意力級聯生成對抗網絡的人臉圖像修復方法。

背景技術：

圖像修復是計算機視覺與人工智能領域的一項十分重要的研究課題。圖像的修復是指通過一定的技術手段，將受損的圖像恢復到于原來相近似的狀態。目前，圖像修復方法在老舊圖片修復、照片美化及背景人物去除等領域中得到了廣泛的應用。

傳統的圖像修復算法是基于一定的數學方法和數學概念進行的，如：依賴圖像邊界的數學特征，使用偏微分方法進行的圖像修復、使用光度轉換在圖像空域中進行搜索，根據圖像的紋理塊特征進行圖像的修復與連接。這些數學方法依賴于復雜的數學原理，且嚴重地依賴于圖像中已經存在的信息，生成信息的能力較差，因此，這一類方法通常不具有良好的魯棒性和普適性。

隨著深度學習的發展，基于深度學習的圖像修復方法取得了一定的成果。雖然目前一些基于深度學習的圖像修復方法在針對各部分結構相似度高的圖像的修復中效果尚可，但是常常存在著訓練不穩定、梯度消失等問題，難以應用于人臉圖像的修復。綜上，人臉圖像修復算法還有很大的改進空間。

發明內容：

針對現有技術存在的缺陷，本發明提出一種基于自注意力級聯生成對抗網絡的人臉圖像修復方法，用以提升人臉圖像修復的穩定性、準確性、魯棒性。

本發明公開了基于自注意力級聯生成對抗網絡的人臉圖像修復方法，包括：

S1：獲取待修復的原始缺損人像；

S2：基于所述原始缺損人像處理得到對應的：灰度缺損人像、缺損輪廓人像和標記所述原始缺損人像中缺損區域的掩膜；

S3：輪廓修復生成對抗網絡模型基于所述掩膜、所述灰度缺損人像和所述缺損輪廓人像輸出修復輪廓人像；

S4：包含有自注意力機制層的填補生成對抗網絡模型基于所述修復輪廓人像、原始缺損人像和所述掩膜處理得到完整修復人像。

本發明的其他優選實施例將在具體實施方式部分詳細說明。

本發明至少具有以下有益效果：

本發明的算法是基于深度學習的算法并針對人臉修復引入了自注意力機制，能夠充分利用圖像中的信息，相較于現有算法，可修復大面積，不規則的圖像缺損，修復效果可量化評估，算法的魯棒性和普適性強，且修復效果好。

本發明的其他有益效果將在具體實施方式部分詳細說明。

附圖說明：

圖1為本發明優選實施例公開的基于自注意力級聯生成對抗網絡的人臉圖像修復方法的方法流程圖。

圖2為本發明優選實施例公開的基于自注意力級聯生成對抗網絡的人臉圖像修復方法的網絡模型圖。

圖3為本發明優選實施例公開的基于自注意力級聯生成對抗網絡的人臉圖像修復方法的中第一級網絡的模型結構圖。

圖4為本發明優選實施例公開的基于自注意力級聯生成對抗網絡的人臉圖像修復方法的第二級網絡的模型結構圖。