[發明專利]一種眼鏡試戴系統

有效

• 申請號: 202011401542.1
• 申請日: 2020-12-04
• 公開（公告）號: CN112418138B
• 公開（公告）日: 2022-08-19
• 發明（設計）人: 胡斌;楊民強;葉凱;黃奕棋;葉茵如;顏皓秋
• 申請（專利權）人: 蘭州大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/764;G06V10/82;G06T17/00;G06N3/04;G06N3/08
• 代理公司: 北京弘權知識產權代理有限公司 11363
• 代理人: 逯長明;許偉群

1.一種眼鏡試戴系統，包括：面部眼鏡識別模塊、判斷模塊、眼鏡摘除模塊和眼鏡佩戴模塊，其中所述面部眼鏡識別模塊用于：接受由用戶上傳的一段任意的佩戴的或未佩戴眼鏡的面部視頻以及為用戶提供眼鏡模型供用戶選擇并獲取指定眼鏡模型；所述判斷模塊用于判斷視頻中的面部是否已經佩戴了眼鏡；所述眼鏡摘除模塊用于當所述判斷模塊判斷出面部已經佩戴了眼鏡，則先為視頻中的面部摘除原有眼鏡再佩戴指定眼鏡再調用所述眼鏡佩戴模塊；所述眼鏡佩戴模塊用于當所述判斷模塊判斷出面部未佩戴眼鏡，則為視頻中的面部佩戴指定眼鏡并輸出佩戴了指定眼鏡的面部視頻；

所述眼鏡摘除模塊是基于變分編碼器的循環模式下的生成對抗網絡實現的，構建所述生成對抗網絡的過程包括：首先，采集用戶面部圖像作為輸入圖像集，包括第一輸入圖像集---佩戴眼鏡的輸入圖像集和第二輸入圖像集---未佩戴眼鏡的輸入圖像集，此兩種輸入圖像集的區別在于面部是否佩戴眼鏡，其中所述第一輸入圖像集包含佩戴眼鏡的面部不同方位的用戶面部圖像，所述第二輸入圖像集包含未佩戴眼鏡的面部不同方位的用戶面部圖像，并且所述第一輸入圖像集和第二輸入圖像集之間可以是配對關系也可以是非配對關系；其次，建立一種基于變分編碼器的循環模式下的生成對抗網絡，其中所述生成對抗網絡是基于傳統GAN網絡的G生成器、F生成器與D判別器的結構，在所述D判別器的基礎上加入局部判別器并且在輸出結果處添加了損失函數，所述局部判別器用于增強在生成的圖像集中眼部區域的判別能力，所述損失函數包括改進損失函數和嚴格損失函數，用于防止所述生成器和所述判別器之間的過度擬合，且其中所述生成對抗網絡包括上下兩個鏡像對稱的神經網絡：一種網絡的輸入圖像集為所述第一輸入圖像集，另一種網絡的輸入圖像集為所述第二輸入圖像集；然后，根據所述輸入圖像集對所述生成對抗網絡進行訓練以便得到眼鏡摘除模型。

2.根據權利要求1的眼鏡試戴系統，其中所述面部眼鏡識別模塊是基于二分類模式下的卷積神經網絡實現的，并且構建所述卷積神經網絡的過程包括：首先，采集用戶面部圖像，所述用戶面部圖像包括輸入圖像集和輸出結果集，所述輸入圖像集包含佩戴眼鏡的和未佩戴眼鏡的面部不同方位的配對的或非配對的用戶面部圖像，所述輸出結果集包含與所述輸入圖像集一一對應的分類標簽-包括“戴眼鏡”和“未佩戴眼鏡”兩類；其次，建立二分類模式下的卷積神經網絡，其中所述卷積神經網絡采用雙層卷積神經網絡結構，包括依次連接的輸入層、第一卷積層、第一池化層、第二卷積層、第二池化層、第一全連接層、第二全連接層及輸出層，所述池化層夾在連續的卷積層中間并且用于壓縮圖像；然后，根據所述采集的輸入圖像集和輸出結果集訓練并得到所述雙層卷積神經網絡。

3.根據權利要求1的眼鏡試戴系統，其中所述眼鏡佩戴模塊的實現過程包括：第一步，輸入未佩戴眼鏡的面部圖像、標定面部特征點及估計面部的初始姿態得到位態參數信息；第二步，載入眼鏡的3D模型并返回所述3D模型載入后的坐標信息、將載入的眼鏡的3D模型調整到與所述面部的位態參數信息相匹配的旋轉角度之后再將所述眼鏡的3D模型映射到2D圖像中；第三步，將生成的2D眼鏡圖像添加至輸入的2D面部圖像中以實現面部的眼鏡佩戴效果。

4.根據權利要求3的眼鏡試戴系統，其中所述的面部特征點包括3個標準點，所述3個標準點是通過dlib算法對用戶輸入的視頻流進行面部檢測得到相關特征點再通過標定得出的，其中所述3個標準點的分別位于左臉最外部-對應dlib標注0、鼻根-對應dilb標注27、右臉最外部-對應dlib標注16；所述面部的位態參數包括旋轉向量和平移向量，其中所述旋轉向量表示面部相對于初始坐標軸旋轉的程度，所述旋轉向量表示面部位置坐標相對于初始坐標軸原點的位置變換。

5.根據權利要求3的眼鏡試戴系統，其中所述的將生成的2D眼鏡圖像添加至輸入的2D面部圖像中時，首先經由所述3個標準點標定后獲得所述面部圖像中眼鏡應佩戴的位置，再在對應位置上將所述2D眼鏡圖像添加至輸入的2D面部圖像中。