[發明專利]一種人臉特征點追蹤方法、系統、電子設備和存儲介質

在審

• 申請號: 202011191411.5
• 申請日: 2020-10-30
• 公開（公告）號: CN112417985A
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 肖傳寶;陳白潔
• 申請（專利權）人: 杭州魔點科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 杭州創智卓英知識產權代理事務所(普通合伙) 33324
• 代理人: 張超

本申請涉及一種人臉特征點追蹤方法、系統、電子設備和存儲介質，其中，該人臉特征點追蹤方法方法包括通過算法模型獲取人臉特征點包括：通過關鍵點檢測模型預測出第一幀圖像的關鍵點位置坐標；根據該關鍵點位置坐標獲取第一關鍵點框，基于該第一關鍵點框在第二幀圖像相同位置上確定第二關鍵點框；將該第二關鍵點框輸入到回歸網絡中，通過該回歸網絡獲取第二幀圖像的關鍵點坐標偏移量；通過本申請，解決了相關技術中該類方法采用的跟蹤方式較為復雜和因為模型需要使用大量的網絡參數導致人臉跟蹤算法模型無法應用到設備端的問題，實現了減少模型所需網絡參數和簡化跟蹤方式的目的。

技術領域

本申請涉及圖像處理技術領域，特別是涉及一種人臉特征點追蹤方法、系統、電子設備和存儲介質。

背景技術

隨著互聯網信息技術的發展以及計算機的軟硬件性能的顯著提升，多媒體的應用變得越來越普及，其中、人臉形特征跟蹤技術是指在連續的視頻序列中跟蹤一個或多個人臉，并實時輸出每幀中人臉的特征點。該技術能夠應用在很多場景中，例如，鎖定特定人的活動軌跡，駕駛員疲勞檢測，手機美顏中人臉框圖像的處理，視頻直播中道具的添加等。解決視頻流中關鍵點抖動問題是主要的問題

在相關技術中，將大量的圖像數據通過算法模型或者卷積神經網絡的迭代計算輸出人臉特征點，由于該方法在視頻前后幀檢測的位置有差異，所以視頻流中檢測出的關鍵點出現抖動的現象，另外，該類方法采用的跟蹤方式較為復雜且需要大量的跟蹤網絡參數，無法應用到設備端。

目前針對相關技術中檢測出的關鍵點出現抖動、跟蹤方式較為復雜且需要大量跟蹤參數導致無法應用于設備端的問題，尚未提出有效的解決方案。

發明內容

本申請實施例提供了一種人臉特征點追蹤方法、系統和計算機可讀存儲介質，以至少解決相關技術中的問題。

第一方面，本申請實施例提供了一種人臉特征點追蹤方法，其特征在于，所述方法包括：通過算法模型獲取人臉關鍵點包括：通過關鍵點檢測模型預測出第一幀圖像的關鍵點位置坐標；根據所述關鍵點位置坐標獲取第一關鍵點框，基于所述第一關鍵點框在第二幀圖像相同位置上確定第二關鍵點框；將所述第二關鍵點框輸入到回歸網絡中，通過所述回歸網絡獲取第二幀圖像的關鍵點坐標偏移量；所述第一幀圖像的所述關鍵點坐標與所述關鍵點坐標偏移量相減得到所述第二幀圖像的所述關鍵點坐標；所述算法模型應用于設備端用于跟蹤人臉特征點。

在其中一些實施例中，所述通過所述關鍵點檢測模型預測出第一幀圖像的關鍵點位置坐標包括：縮放函數將所述第一幀圖像中的人臉框縮放生成縮放人臉框，將所述縮放人臉框輸入所述關鍵點檢測模型后預測得出初始關鍵點位置坐標；再通過映射函數將所述初始關鍵點坐標映射到所述第一幀圖像上得到所述第一幀圖像的所述關鍵點位置坐標。

在其中一些實施例中，對所述關鍵點包括：左眼中心、右眼中心、鼻子中心、左嘴角和右嘴角。

在其中一些實施例中，所述第一幀圖像和所述第二幀圖像為視頻流中連續的兩幀圖像。

在其中一些實施例中，所述第一幀圖像包含人臉框標簽，所述關鍵點檢測模型通過所述人臉框標簽獲取人臉框位置。

在其中一些實施例中，所述通過所述回歸網絡模型是基于調整后的mobilenet-v2網絡模型。

第二方面，本申請實施例提供了一種人臉特征點追蹤系統，其特征在于，所述系統包括：信息獲取模塊，用于采集人臉實時信息或者離線視頻流；存儲模塊模塊，用于存儲人臉跟蹤模型及其他計算機程序；處理模塊，用于運行所述人臉跟蹤模型和其他計算機程序。

在其中一些實施例中，所述檢測跟蹤模塊通過將第一幀圖像的關鍵點位置坐標與第二幀圖像的關鍵點坐標偏移量相減得到第二幀圖像的所述關鍵點坐標。