[發(fā)明專利]一種閉眼圖像的生成方法和裝置

有效

• 申請?zhí)枺?/td>: 202010113899.3
• 申請日: 2020-02-24
• 公開（公告）號: CN111340688B
• 公開（公告）日: 2023-08-11
• 發(fā)明（設(shè)計）人: 吳家賢;朱英芳
• 申請（專利權(quán)）人: 網(wǎng)易（杭州）網(wǎng)絡(luò)有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06V10/774;G06V40/18;G06V10/25
• 代理公司: 北京潤澤恒知識產(chǎn)權(quán)代理有限公司 11319
• 代理人: 莎日娜

本發(fā)明實施例提供了一種閉眼圖像的生成方法和裝置，其中，所述方法包括：獲取待處理圖像中眼部關(guān)鍵點坐標；根據(jù)所述眼部關(guān)鍵點坐標確定閉眼變換的操作區(qū)域；獲取所述操作區(qū)域中當前待操作像素點的坐標；根據(jù)所述當前待操作像素點的坐標和所述眼角關(guān)鍵點坐標的位置關(guān)系，控制將對應(yīng)的眼瞼區(qū)域的眼瞼像素值或眼皮區(qū)域的眼皮像素值替換所述當前待操作像素點的像素值以生成閉眼圖像，其中，所述眼瞼區(qū)域和所述眼皮區(qū)域為根據(jù)所述眼部關(guān)鍵點坐標確定的區(qū)域。從而可以采用待處理圖像生成閉眼圖像，避免當需要采用閉眼圖像來進行模型訓(xùn)練時，需要消耗大量的時間和人力去采集閉眼圖像，使得可以降低采集閉眼圖片樣本的成本。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別是涉及一種閉眼圖像的生成方法和一種閉眼圖像的生成裝置。

背景技術(shù)

在構(gòu)建基于深度學(xué)習(xí)的算法時，需要大量的帶標簽樣本去訓(xùn)練模型以讓算法充分地學(xué)習(xí)，樣本的多樣性、質(zhì)量等決定了算法在使用時的效果。獲取帶標簽的樣本方法包括：1、從網(wǎng)絡(luò)公開的數(shù)據(jù)集上下載，2、自行或委托第三方數(shù)據(jù)商收集數(shù)據(jù)并打上標簽。

人臉關(guān)鍵點定位在圖像視覺領(lǐng)域中具有廣泛的應(yīng)用，是人臉識別、表情分析、人臉重建等人臉相關(guān)問題的重要的一步。而在各種眼睛狀態(tài)下準確定位眼睛附近的關(guān)鍵點對疲勞檢測、表情分析、眼睛美顏等至關(guān)重要。但現(xiàn)有的人臉關(guān)鍵點數(shù)據(jù)集中閉眼和單眼閉合的人臉樣本不多，算法對閉眼的情況學(xué)習(xí)得不夠充分，導(dǎo)致學(xué)習(xí)出的算法在人臉閉眼時眼睛區(qū)域的關(guān)鍵點定位不準確，定位出的眼睛區(qū)域的關(guān)鍵點不會根據(jù)眼睛的睜閉調(diào)整。當需要根據(jù)眼睛附近的關(guān)鍵點位置計算表情、疲勞程度或在眼睛部位生成特效時，因此需要采集更多的閉眼樣本來解決此問題。

目前，可以通過網(wǎng)絡(luò)爬取或線下拍攝，來采集人臉圖片樣本，然而，要另外采集大量閉眼圖片樣本相對而言成本較高，一方面，如果采用網(wǎng)絡(luò)爬取，由于絕大部分人臉圖片中人眼是處于睜眼狀態(tài)，因此需要通過人工篩選才能得到閉眼圖片樣本。另一方面，若采用線下拍攝，則成本較高且獲取餓的樣本缺少人物多樣性，而且圖片采集后還要花費大量人力去標注人臉關(guān)鍵點。

發(fā)明內(nèi)容

鑒于上述問題，提出了本發(fā)明實施例以便提供一種克服上述問題或者至少部分地解決上述問題的一種閉眼圖像的生成方法和相應(yīng)的一種閉眼圖像的生成裝置。

為了解決上述問題，本發(fā)明實施例公開了一種閉眼圖像的生成方法，包括：

獲取待處理圖像中眼部關(guān)鍵點坐標，其中，所述眼部關(guān)鍵點坐標包括眼角關(guān)鍵點坐標、眼瞼關(guān)鍵點坐標和眉毛關(guān)鍵點坐標；

根據(jù)所述眼部關(guān)鍵點坐標確定閉眼變換的操作區(qū)域；

獲取所述操作區(qū)域中當前待操作像素點的坐標；

根據(jù)所述當前待操作像素點的坐標和所述眼角關(guān)鍵點坐標的位置關(guān)系，控制將對應(yīng)的眼瞼區(qū)域的眼瞼像素值或眼皮區(qū)域的眼皮像素值替換所述當前待操作像素點的像素值以生成閉眼圖像，其中，所述眼瞼區(qū)域和所述眼皮區(qū)域為根據(jù)所述眼部關(guān)鍵點坐標確定的區(qū)域。

可選地，還包括：

根據(jù)所述眼角關(guān)鍵點坐標，確定眼角連線及所述眼角連線的單位方向向量；

采用所述眼角關(guān)鍵點坐標、眼瞼關(guān)鍵點坐標和所述單位方向向量，確定所述新的眼瞼關(guān)鍵點坐標。

可選地，在所述根據(jù)所述眼部關(guān)鍵點坐標確定閉眼變換的操作區(qū)域的步驟之前，還包括：

根據(jù)所述眼角關(guān)鍵點坐標確定眼角連線；

根據(jù)所述眼瞼關(guān)鍵點坐標，確定上眼瞼曲線和下眼瞼曲線；

計算所述上眼瞼曲線中上眼瞼點與眼角連線的最大距離，所述下眼瞼曲線中下眼瞼點與眼角連線的最大距離，以及所述眼角連線之間的距離；

根據(jù)所述眉毛關(guān)鍵點坐標確定眉毛曲線，并計算所述眉毛曲線中眉毛點與眼角連線的最大距離；