[發明專利]一種眼鏡試戴系統

有效

• 申請號: 202011401542.1
• 申請日: 2020-12-04
• 公開（公告）號: CN112418138B
• 公開（公告）日: 2022-08-19
• 發明（設計）人: 胡斌;楊民強;葉凱;黃奕棋;葉茵如;顏皓秋
• 申請（專利權）人: 蘭州大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/764;G06V10/82;G06T17/00;G06N3/04;G06N3/08
• 代理公司: 北京弘權知識產權代理有限公司 11363
• 代理人: 逯長明;許偉群

提供了一種眼鏡試戴系統，包括：面部眼鏡識別模塊、判斷模塊、眼鏡摘除模塊和眼鏡佩戴模塊，其中面部眼鏡識別模塊用于：接受由用戶上傳的一段任意的佩戴的或未佩戴眼鏡的面部視頻以及為用戶提供眼鏡模型供用戶選擇并獲取指定眼鏡模型；判斷模塊用于判斷視頻中的面部是否已經佩戴了眼鏡；眼鏡摘除模塊用于當判斷模塊判斷出面部已經佩戴了眼鏡，則先為視頻中的面部摘除原有眼鏡再佩戴指定眼鏡再調用眼鏡佩戴模塊；眼鏡佩戴模塊用于當判斷模塊判斷出面部未佩戴眼鏡，則為視頻中的面部佩戴指定眼鏡并輸出佩戴了指定眼鏡的面部視頻。

技術領域

本發明涉及機器學習在圖像處理技術領域的應用，尤其涉及一種眼鏡試戴系統，它突破了就近式面向街區化的眼鏡購買和銷售格局，使眼鏡店的銷售人群不僅僅是周邊的街道，而為消費者提供“足不出戶、送貨到家”的購物新體驗。

背景技術

在近視問題井噴式爆發的今日，中國人群的近視率早已觸及了危險峰值，擁有一副及以上的眼鏡的人更是不占少數。但是，用戶在配試眼鏡的過程中，常常會陷入由于摘下眼鏡后的裸視力較低而無法清楚地看到自己佩戴新鏡框的效果的處境，因此需要研發一款集摘除與佩戴眼鏡為一體的眼鏡試戴系統。

但是，現有的眼鏡摘除技術和眼鏡佩戴技術還不夠成熟。目前為止，已公開的眼鏡摘除技術在實現方式上仍存在多重算法疊加、僅適于特定膚色等局限；而市場上銷售的大多眼鏡試戴程序都存在鏡框偏離面部中心的問題。

發明概述

因此，本發明的目的在于提供一種眼鏡試戴系統。

本發明的又一目的在于提供一種眼鏡試戴系統的手機端或電腦端應用程序、小程序或網頁。

為實現上述目的，根據本發明的一個方面，提供一種眼鏡試戴系統，包括：面部眼鏡識別模塊、判斷模塊、眼鏡摘除模塊和眼鏡佩戴模塊，其中面部眼鏡識別模塊用于：接受由用戶上傳的一段任意的佩戴的或未佩戴眼鏡的面部視頻以及為用戶提供眼鏡模型供用戶選擇并獲取指定眼鏡模型(即，指定眼鏡模型的含義是將要佩戴的眼鏡模型)；判斷模塊用于判斷視頻中的面部是否已經佩戴了眼鏡；眼鏡摘除模塊用于當判斷模塊判斷出面部已經佩戴了眼鏡，則先為視頻中的面部摘除原有眼鏡再佩戴指定眼鏡再調用眼鏡佩戴模塊；眼鏡佩戴模塊用于當判斷模塊判斷出面部未佩戴眼鏡，則為視頻中的面部佩戴指定眼鏡并輸出佩戴了指定眼鏡的面部視頻。

優選地，面部眼鏡識別模塊是基于二分類模式下的卷積神經網絡實現的。需要說明的是，本發明中的輸入圖像是從用戶的實時面部視頻中通過幀提取得到的2D圖像。構建卷積神經網絡的過程是：首先，采集的用戶面部圖像包括輸入圖像集和輸出結果集。輸入圖像集包含了佩戴眼鏡的和未佩戴眼鏡的面部不同方位的配對的或非配對的用戶面部圖像。輸出結果集包含了與輸入圖像集一一對應的分類標簽，包括“戴眼鏡”和“未佩戴眼鏡”兩類。其次，建立二分類模式下的卷積神經網絡(又稱：CNN)。其中，卷積神經網絡采用雙層卷積神經網絡結構，包括依次連接的輸入層、第一卷積層、第一池化層、第二卷積層、第二池化層、第一全連接層、第二全連接層及輸出層。其中，該池化層夾在連續的卷積層中間，用于壓縮圖像。然后，根據采集的輸入圖像集和輸出結果集對雙層卷積神經網絡進行訓練，得到眼鏡摘除模型。