[發明專利]一種基于人臉識別技術的眼鏡虛擬試戴方法

在審

• 申請號: 201910289996.5
• 申請日: 2019-04-11
• 公開（公告）號: CN111815382A
• 公開（公告）日: 2020-10-23
• 發明（設計）人: 惠開進;辛羊華;薛敏
• 申請（專利權）人: 蘇州工其器智能科技有限公司
• 主分類號: G06Q30/06
• 分類號: G06Q30/06;G06T19/00;G06K9/00
• 代理公司: 昆明合眾智信知識產權事務所 53113
• 代理人: 張璽

本發明公開一種基于人臉識別技術的眼鏡虛擬試戴方法，包括：Unity端啟動后，Unity端開啟每幀循環視頻刷新，Android端調取攝像頭獲取視頻數據，JNI端對獲取的圖像做美化處理，傳到面板顯示；Unity端開啟每幀循環人臉檢測，Android端獲取圖片數據，JNI端進行檢測、對齊以及姿態估算，得到人臉識別數據，經矩陣變換和三維空間轉換，數據轉換成Unity的掛載點位，通過Unity3D引擎中的相機將顯示模型渲染到對應點位；視頻與模型通過層級設置合并渲染顯示。該方法采用人臉識別技術將虛擬的眼鏡模型掛載在屏幕的人臉圖像上，同時支持視頻的動態掛載和靜態多張圖片對比的掛載。

技術領域

本發明涉及人臉識別應用領域，具體是一種基于人臉識別技術的眼鏡虛擬試戴方法。

背景技術

近年來，中國宏觀經濟穩定發展，伴隨高近視率的剛性需求，中國眼鏡零售市場也穩步增長。隨著居民可支配收入逐年提高，人民生活水平、消費能力不斷提高，消費者有能力購買多副眼鏡以滿足不同場合的佩戴需求，選擇超輕新材質的鏡架，抗輻射、抗疲勞等多功能的鏡片，這些都刺激了眼鏡零售市場的快速增長。據Euromonitor研究報告，中國眼鏡零售市場規模從2006年的208.20億元增長到2015年的673.94億元，年均復合增長率達13.94％。

近年來，我國網絡購物環境日趨完善，國內電子網絡購物呈現高速發展的態勢。與傳統線下渠道相比，網絡銷售眼鏡具有如下優勢：一是眼鏡款式多，解決實體店因面積、庫存壓力不能盡顯產品樣式的問題；二是直接接觸廣大終端客戶，可廣泛、清晰、深入傳遞品牌與產品信息。

但由于網絡銷售眼鏡無法提供驗光服務，網絡銷售隱形眼鏡受到了嚴格的控制，目前線上眼鏡零售是以太陽鏡為主，網絡銷售眼鏡占中國眼鏡零售市場比例仍然不高。但是，目前互聯網電商采用網上展示，線下體驗店配鏡，網上預約，上門配鏡等等各種手段，正在不斷彌補網絡銷售眼鏡的劣勢。因此，眼鏡虛擬試戴設備應運而生，可以幫助用戶方便的更換心儀的眼鏡。

發明內容

為實現將虛擬的眼鏡模型掛載在屏幕的人臉圖像上，同時支持視頻的動態掛載和靜態多張圖片對比的掛載的目的，本發明提供一種基于人臉識別技術的眼鏡虛擬試戴方法。

為實現上述目的，本發明采用下述技術方案：

一種基于人臉識別技術的眼鏡虛擬試戴方法，包括以下步驟：

步驟一，Unity端啟動后，Unity端開啟每幀循環視頻刷新，Android端調取攝像頭獲取視頻數據，JNI端對獲取的圖像做美化處理，獲取到圖像后傳到面板顯示；

步驟二，Unity端啟動后，Unity端開啟每幀循環人臉檢測，Android端獲取圖片數據，JNI端進行人臉關鍵點檢測、人臉與識別點位對齊以及人臉姿態估算，得到人臉識別數據，經矩陣變換和三維空間轉換，數據轉換成Unity的掛載點位，通過Unity3D引擎中的相機將顯示模型渲染到對應點位；

步驟三，視頻與模型通過層級設置合并渲染顯示。

進一步地，步驟二的人臉關鍵點檢測使用Wing Loss函數。

進一步地，步驟二的人臉與識別點位對齊包括數個二維坐標點坐標、每個二維坐標點對應的三維坐標和相機的內參數矩陣，其中進行相機參數估計時首先使用張正友的棋盤格對相機進行標定，相機的內參數矩陣需設定相機的焦距、圖像的中心位置并且假設不存在徑向畸變。

進一步地，步驟二的人臉姿態估算過程中有三個坐標系，分別為世界坐標系、相機坐標系和圖像坐標系。

有益效果：

本發明采用人臉識別技術將虛擬的眼鏡模型掛載在屏幕的人臉圖像上，同時支持視頻的動態掛載和靜態多張圖片對比的掛載。

附圖說明