[發明專利]一種基于電視攝像頭的人臉圖像分辨率增強方法

在審

• 申請號: 202011521115.7
• 申請日: 2020-12-21
• 公開（公告）號: CN112669207A
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 謝濤;鄒軍;高嵐
• 申請（專利權）人: 四川長虹電器股份有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T7/00
• 代理公司: 四川省成都市天策商標專利事務所 51213
• 代理人: 胡慧東

本發明公開了一種基于電視攝像頭的人臉圖像分辨率增強方法，其基本流程為：在攝像頭存在人臉，并且環境光較暗或者人臉到攝像頭的距離小于設定好的閾值時，則開啟人臉分辨率增強模式；在進入人臉分辨率增強模式中，首先是對識別到的人臉進行裁剪，對只包含人臉的圖像使用Tenengrad梯度方法對圖像質量檢測進行評價，將梯度值β小于一定閾值的圖像定義為模糊圖像，該圖像作為超分辨率網絡的輸入，經過網絡推理，將差異圖像與低分辨率圖像進行合并，生成滿足要求的高分辨率圖像。該方法兼顧了準確性與實時性，為低質量圖像的識別奠定了基礎，保證后續算法的精度。

技術領域

本發明涉及圖像處理技術領域，具體涉及一種基于電視攝像頭的人臉圖像分辨率增強方法。

背景技術

近幾年，隨著人工智能的不斷發展，越來越多的傳統行業在人工智能加持下，實現了新的產業增長點。目前，對于電視機，人們已經不滿足于只是簡單的收看電視節目這一傳統功能，而是希望其更加智能化。機器視覺與傳統電視機的結合，拓展了人機相互方式，提升用戶體驗。

目前，市場上搭載攝像頭的電視機實現的主流功能為攝像、拍照、人臉識別以及視頻通話等功能。而這一切依賴于高質量的圖像輸入。現實采集的圖像中，經常存在由于光線不足、距離較遠等原因造成模糊的圖像。現有的圖像增強方法中，通常采用的是直接對低分辨率圖像進行插值處理，通過替換像素的方法，或者采用GAN網絡生成圖像，這兩種方法，前者方法簡單，但是插值的方法對細節較為豐富的人臉圖像極易導致鋸齒現象，增強效果較差；后者是對整張圖像進行處理，導致網絡參數繁多，模型推理速度慢。

發明內容

為了解決上述技術問題，本發明提供了一種基于電視攝像頭的人臉圖像分辨率增強方法，該方法對高分辨率與低分辨率圖像間的差異進行訓練，將該差異與低分辨率的原始圖像組合，生成最終的高分辨人臉圖像。并且在有限的計算資源下，盡可能的提升算法處理效率，滿足項目準確性、實時性的要求。

為了達到上述技術效果，本發明采用了如下技術方案：

一種基于電視攝像頭的人臉圖像分辨率增強方法，包括以下步驟：

(1)判斷是否需要開始人臉分辨率增強模式：在存在人臉的畫面中，當環境光的光照強度lx50或者人臉到攝像頭的距離l280cm時，則開啟人臉分辨率增強模式；

(2)人臉圖像識別；

(3)人臉圖像標準化；

(4)人臉畫質評價；采用Tenengrad梯度方法對人臉進行清晰度評價，將梯度值g10.0的人臉圖像定義為模糊圖像；

(5)超分辨率增強處理；將模糊圖像作為超分辨率網絡的輸入，經過網絡推理，將差異圖像與低分辨率圖像進行合并，生成滿足要求的高分辨率圖像。

進一步的技術方案為，所述步驟(2)具體為采用第三方人臉識別技術，得到人臉包圍框的坐標，根據坐標將人臉圖像裁剪出來。

進一步的技術方案為，步驟(3)具體為將步驟(2)中裁剪到的人臉區域統一縮放為標準尺寸圖像輸入。

進一步的技術方案為，所述標準尺寸為96*96px。

進一步的技術方案為，所述步驟(4)具體為采用Tenengrad梯度方法對檢測到的人臉進行清晰度評價，Tenengrad梯度方法利用Sobel算子分別計算水平和垂直方向的梯度，梯度值越高，圖像越清晰，將梯度值g10.0的人臉圖像定義為需要分辨率增強處理的模糊圖像。

進一步的技術方案為，所述步驟(5)中超分辨率網絡為深度卷積神經網絡，該網絡的訓練過程如下：

A、收集整理10000張清晰人臉圖像作為樣本標簽，人為對其進行模糊處理，作為訓練樣本，并統一設置成96*96*3px的圖像大小；