[發明專利]圖像處理方法、裝置及設備、非易失性存儲介質

在審

• 申請號: 202011133416.2
• 申請日: 2020-10-21
• 公開（公告）號: CN114463188A
• 公開（公告）日: 2022-05-10
• 發明（設計）人: 牛振興;屈書毅;齊默爾曼;葛迪;普羅特;馬譚
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06K9/62;G06V10/774
• 代理公司: 北京博浩百睿知識產權代理有限責任公司 11134
• 代理人: 謝湘寧;張文華

本申請公開了一種圖像處理方法、裝置及設備、非易失性存儲介質。其中，該方法包括：獲取原始圖像；從上述原始圖像中擦除目標對象，得到待填充圖像；通過多個圖像尺度對上述待填充圖像進行圖像復原處理，輸出目標圖像。本申請解決了相關技術中的圖像復原算法難以有效復原圖像的技術問題。

技術領域

本申請涉及圖像處理領域，具體而言，涉及一種圖像處理方法、裝置及設備、非易失性存儲介質。

背景技術

圖像復原(Image inpainting)技術是計算機視覺中的一個具有挑戰性的任務，相關技術中現有常用的圖像復原算法(SoTA)是單尺度的，具體是基于兩個階段完成：第一階段做粗估計，第二階段做精細調整，主要缺點是在復原圖像時不能兼顧圖像結構和圖像細節的修復，其中，圖像結構建模不好，會導致瑕疵的出現；圖像細節建模不好，會產生模糊等現象，難以很好的復原圖像。

此外，在實際應用場景中，用戶拍攝的一張圖像中包含不想要的內容，則可以利用圖像復原算法擦除圖像中的特定目標，例如，用戶在風景區拍攝風景的照片，想刪除照片中的特定目標(即照片中的干擾對象，如路上的行人)，使得修復后的圖像看上去很真實，但是，上述圖像復原算法刪除圖像中的干擾對象的性能不佳，難以很好的復原圖像。

針對上述的問題，目前尚未提出有效的解決方案。

發明內容

本申請實施例提供了一種圖像處理方法、裝置及設備、非易失性存儲介質，以至少解決相關技術中的圖像復原算法難以有效復原圖像的技術問題。

根據本申請實施例的一個方面，提供了一種圖像處理方法，包括：獲取原始圖像；從上述原始圖像中擦除目標對象，得到待填充圖像；通過多個圖像尺度對上述待填充圖像進行圖像復原處理，輸出目標圖像。

根據本申請實施例的另一方面，還提供了一種圖像處理方法，包括：通過多個圖像尺度中每個圖像尺度對應的樣本圖像對初始神經網絡模型進行訓練，得到目標神經網絡模型；從原始圖像中擦除目標對象，得到待填充圖像；將上述待填充圖像輸入至上述目標神經網絡模型進行圖像復原處理，輸出目標圖像。

根據本申請實施例的另一方面，還提供了一種圖像處理裝置，包括：獲取模塊，用于獲取原始圖像；擦除模塊，用于從上述原始圖像中擦除目標對象，得到待填充圖像；復原處理模塊，用于通過多個圖像尺度對上述待填充圖像進行圖像復原處理，輸出目標圖像。

根據本申請實施例的另一方面，還提供了一種圖像處理裝置，包括：訓練單元，用于通過多個圖像尺度中每個圖像尺度對應的樣本圖像對初始神經網絡模型進行訓練，得到目標神經網絡模型；擦除單元，用于從原始圖像中擦除目標對象，得到待填充圖像；復原處理單元，用于將上述待填充圖像輸入至上述目標神經網絡模型進行圖像復原處理，輸出目標圖像。

根據本申請實施例的另一方面，還提供了一種圖像處理客戶端，包括：輸入組件，用于獲取原始圖像；處理組件，用于從上述原始圖像中擦除目標對象，得到待填充圖像；通信組件，用于將上述待填充圖像發送至服務端，以及接收上述服務端返回的目標圖像，其中，上述目標圖像是由上述服務端通過多個圖像尺度對上述待填充圖像進行圖像復原處理所得到的圖像。

根據本申請實施例的另一方面，還提供了一種圖像處理服務端，包括：通信組件，用于接收客戶端發送的待填充圖像，其中，上述待填充圖像是由上述客戶端從獲取到的原始圖像中擦除目標對象所得到的圖像；處理組件，用于通過多個圖像尺度對上述待填充圖像進行圖像復原處理，得到目標圖像；上述通信組件，還用于向上述客戶端返回上述目標圖像。

根據本申請實施例的另一方面，還提供了一種非易失性存儲介質，上述非易失性存儲介質包括存儲的程序，其中，在上述程序運行時控制上述非易失性存儲介質所在設備執行任意一項上述的圖像處理方法。