[發明專利]圖像處理方法、裝置、電子設備及存儲介質

有效

• 申請號: 202011434480.4
• 申請日: 2020-12-10
• 公開（公告）號: CN112509005B
• 公開（公告）日: 2023-01-20
• 發明（設計）人: 劉易周
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T3/40;G06V40/16;G06V10/62;G06V10/82
• 代理公司: 華進聯合專利商標代理有限公司 44224
• 代理人: 唐敏

本公開關于一種圖像處理方法、裝置、電子設備及存儲介質，所述方法包括：實時采集人臉視頻數據，將人臉視頻數據中的每幀人臉圖像幀作為待處理圖像；對待處理圖像進行人臉識別，得到人臉關鍵點；從人臉關鍵點中提取預設區域的參考關鍵點，根據參考關鍵點的位置信息確定放大系數；根據放大系數對人臉進行放大，并根據人臉識別得到的人臉運動信息對放大后的人臉進行人臉跟蹤。根據本公開的方案，通過采用預設區域中的參考關鍵點，解決了關鍵點較多帶來的性能瓶頸問題；通過以預設區域中的多個關鍵點為參考確定放大系數，還能確保對人臉進行放大處理的精度。

技術領域

本公開涉及圖像處理技術領域，尤其涉及一種圖像處理方法、裝置、電子設備及存儲介質。

背景技術

隨著智能終端的普及以及圖像處理技術的發展，越來越多的應用程序可以對圖像中的人臉進行處理，以達到需要的效果，例如，智能美顏、魔法特效、人臉追蹤等。而隨著智能終端軟硬件的飛速發展，實時渲染技術在智能終端的應用變得越來越廣，在智能終端進行這些效果的實時展現也變為可能。例如，可以通過深度神經網絡對終端靜態、亦或實時拍攝的圖像進行語義分割，獲得人臉的關鍵點、發型區域掩碼圖、五官位置的掩碼圖等圖像處理結果，利用所得到的圖像處理結果實現很多有創意的效果，例如，五官的放大、錯位，人臉的貼紙、貼妝等。

為了實現提高人臉追蹤精度、或者提高人臉呈現效果等目的，可以對圖像中的人臉進行聚焦處理，以使人臉以較大的面積顯示于屏幕中心位置。相關技術中，常采用以下兩種實現方式對人臉進行聚焦處理：

(1)獲取人臉的全部關鍵點數據；將全部的人臉關鍵點數據從CPU(CentralProcessing Unit，中央處理器)傳入GPU(Graphics Processing Unit，圖形處理器)；基于全部關鍵點數據創建一個虛擬框的臨界區域；將虛擬框的臨界區域聚焦到屏幕中心。采用這種方式雖呈現效果較好，但是由于全部的人臉關鍵點數量較多(可達到上百個)，將全部的人臉關鍵點數據從CPU傳輸至GPU對設備的性能有一定的影響。

(2)獲取單一的人臉關鍵點數據；根據單一的人臉關鍵點數據直接進行圖像的warp(變形)操作，將人臉聚焦到屏幕中心。采用這種方式由于所采用的人臉關鍵點較少，使得呈現效果穩定性較差。

因此，采用相關技術中的方式存在性能和準確性不能兼容的問題。

發明內容

本公開提供一種圖像處理方法、裝置、電子設備及存儲介質，以至少解決相關技術中對人臉進行聚焦處理存在性能和準確性不能兼容的問題。本公開的技術方案如下：

根據本公開實施例的第一方面，提供一種圖像處理方法，其特征在于，包括：

實時采集人臉視頻數據，將所述人臉視頻數據中的每幀人臉圖像幀作為待處理圖像；

對所述待處理圖像進行人臉識別，得到人臉關鍵點；

從所述人臉關鍵點中提取預設區域的參考關鍵點，根據所述參考關鍵點的位置信息確定放大系數；

根據所述放大系數對人臉進行放大，并根據所述人臉識別得到的人臉運動信息對放大后的所述人臉進行人臉跟蹤。

在其中一個實施例中，所述方法還包括：

從所述參考關鍵點中獲取人臉中心區域中的目標關鍵點；

根據預設的目標關鍵點的位置和目標位置的對應關系，確定與所述目標關鍵點對應的目標位置；

以所述目標位置相對所述目標關鍵點的方向對所述人臉進行移動，直至所述目標關鍵點到達所述目標位置。

在其中一個實施例中，所述預設的目標關鍵點的位置和目標位置的對應關系，包括：