[發(fā)明專利]指甲關(guān)鍵點檢測方法、裝置、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010344582.0
• 申請日: 2020-04-27
• 公開（公告）號: CN113642551A
• 公開（公告）日: 2021-11-12
• 發(fā)明（設(shè)計）人: 張知行
• 申請（專利權(quán)）人: 北京達(dá)佳互聯(lián)信息技術(shù)有限公司
• 主分類號: G06K9/20
• 分類號: G06K9/20;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 黃麗霞

本公開關(guān)于一種指甲關(guān)鍵點檢測方法、裝置、電子設(shè)備及存儲介質(zhì)，其中方法通過獲取具有指甲區(qū)域的待檢測圖像，并將待檢測圖像輸入關(guān)鍵點檢測模型中進(jìn)行關(guān)鍵點提取，從而得到與指甲區(qū)域中指甲的方向?qū)?yīng)的指甲關(guān)鍵點坐標(biāo)，由于關(guān)鍵點檢測模型是采用包括了角度損失項和距離損失項的預(yù)設(shè)損失函數(shù)進(jìn)行訓(xùn)練后得到的，從而保證了模型輸出結(jié)果的穩(wěn)定性與準(zhǔn)確性，即得到的指甲關(guān)鍵點坐標(biāo)具有穩(wěn)定的方向性，因此，避免了傳統(tǒng)技術(shù)中因指甲關(guān)鍵點存在方向抖動，而導(dǎo)致難以完成素材貼合的問題。

技術(shù)領(lǐng)域

本公開涉及深度學(xué)習(xí)技術(shù)領(lǐng)域，尤其涉及一種指甲關(guān)鍵點檢測方法、裝置、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)

隨著深度學(xué)習(xí)技術(shù)的發(fā)展，虛擬美甲在短視頻應(yīng)用或相機應(yīng)用中越來越常見。目前常見的虛擬美甲是基于指甲關(guān)鍵點，來指導(dǎo)具有方向性的素材貼合。

相關(guān)技術(shù)中，目前的關(guān)鍵點檢測方案可以較為準(zhǔn)確的進(jìn)行指甲關(guān)鍵點檢測，但是，卻難以避免最終計算出的指甲關(guān)鍵點存在方向的抖動性，從而導(dǎo)致難以完成具有方向性的素材貼合。

發(fā)明內(nèi)容

本公開提供一種指甲關(guān)鍵點檢測方法、裝置、電子設(shè)備及存儲介質(zhì)，以至少解決相關(guān)技術(shù)中難以避免計算出的指甲關(guān)鍵點存在方向抖動性的問題。本公開的技術(shù)方案如下：

根據(jù)本公開實施例的第一方面，提供一種指甲關(guān)鍵點檢測方法，包括：

獲取待檢測圖像，所述待檢測圖像中包括指甲區(qū)域；

將待檢測圖像輸入關(guān)鍵點檢測模型中，得到與指甲區(qū)域中指甲的方向?qū)?yīng)的指甲關(guān)鍵點坐標(biāo)，所述關(guān)鍵點檢測模型是采用預(yù)設(shè)的損失函數(shù)預(yù)先訓(xùn)練神經(jīng)網(wǎng)絡(luò)得到的，所述預(yù)設(shè)的損失函數(shù)中包括角度損失項和距離損失項。

在其中一個實施例中，關(guān)鍵點檢測模型的訓(xùn)練方法，包括：獲取指甲樣本圖像，所述指甲樣本圖像中標(biāo)注了指甲根關(guān)鍵點坐標(biāo)和指甲尖關(guān)鍵點坐標(biāo)；采用神經(jīng)網(wǎng)絡(luò)提取指甲樣本圖像中與標(biāo)注的指甲尖關(guān)鍵點坐標(biāo)對應(yīng)的第一預(yù)測指甲關(guān)鍵點坐標(biāo)，以及與標(biāo)注的指甲根關(guān)鍵點坐標(biāo)對應(yīng)的第二預(yù)測指甲關(guān)鍵點坐標(biāo)；根據(jù)預(yù)設(shè)的損失函數(shù)、標(biāo)注的指甲尖關(guān)鍵點坐標(biāo)和指甲根關(guān)鍵點坐標(biāo)、以及第一預(yù)測指甲關(guān)鍵點坐標(biāo)和第二預(yù)測指甲關(guān)鍵點坐標(biāo)，確定損失值；根據(jù)損失值訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)，得到關(guān)鍵點檢測模型。

在其中一個實施例中，根據(jù)預(yù)設(shè)的損失函數(shù)、標(biāo)注的指甲尖關(guān)鍵點坐標(biāo)和指甲根關(guān)鍵點坐標(biāo)、以及第一預(yù)測指甲關(guān)鍵點坐標(biāo)和第二預(yù)測指甲關(guān)鍵點坐標(biāo)，確定損失值，包括：根據(jù)角度損失項，計算第一預(yù)測指甲關(guān)鍵點坐標(biāo)和第二預(yù)測指甲關(guān)鍵點坐標(biāo)與標(biāo)注的指甲尖關(guān)鍵點坐標(biāo)和指甲根關(guān)鍵點坐標(biāo)之間的角度損失；根據(jù)距離損失項，計算第一預(yù)測指甲關(guān)鍵點坐標(biāo)和第二預(yù)測指甲關(guān)鍵點坐標(biāo)與標(biāo)注的指甲尖關(guān)鍵點坐標(biāo)和指甲根關(guān)鍵點坐標(biāo)之間的距離損失；將角度損失和距離損失之和確定為所述損失值。

在其中一個實施例中，根據(jù)角度損失項，計算第一預(yù)測指甲關(guān)鍵點坐標(biāo)和第二預(yù)測指甲關(guān)鍵點坐標(biāo)與標(biāo)注的指甲尖關(guān)鍵點坐標(biāo)和指甲根關(guān)鍵點之間的角度損失，包括：確定第一預(yù)測指甲關(guān)鍵點坐標(biāo)和第二預(yù)測指甲關(guān)鍵點坐標(biāo)之間的第一連線；確定標(biāo)注的指甲尖關(guān)鍵點坐標(biāo)和指甲根關(guān)鍵點之間的第二連線；根據(jù)角度損失項計算第一連線與第二連線之間的夾角，將夾角確定為所述角度損失。

在其中一個實施例中，角度損失項為：其中，x為指甲樣本圖像，x₁、y₁為在指甲樣本圖像映射的平面直角坐標(biāo)系中標(biāo)注的指甲尖關(guān)鍵點坐標(biāo)，x₂、y₂為在指甲樣本圖像映射的平面直角坐標(biāo)系中標(biāo)注的指甲根關(guān)鍵點坐標(biāo)，為神經(jīng)網(wǎng)絡(luò)從指甲樣本圖像映射的平面直角坐標(biāo)系中提取的與指甲尖關(guān)鍵點坐標(biāo)對應(yīng)的第一預(yù)測指甲關(guān)鍵點坐標(biāo)，為神經(jīng)網(wǎng)絡(luò)從指甲樣本圖像映射的平面直角坐標(biāo)系中提取的與指甲根關(guān)鍵點坐標(biāo)對應(yīng)的第二預(yù)測指甲關(guān)鍵點坐標(biāo)。