[發(fā)明專利]一種動物面部關(guān)鍵點標(biāo)注方法

有效

• 申請?zhí)枺?/td>: 201810023304.8
• 申請日: 2018-01-10
• 公開（公告）號: CN108073914B
• 公開（公告）日: 2022-02-18
• 發(fā)明（設(shè)計）人: 陳丹;徐瀅
• 申請（專利權(quán)）人: 成都品果科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06T7/00;G06T7/73
• 代理公司: 成都高遠知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 51222
• 代理人: 李安霞;曾克

本發(fā)明公開一種動物面部關(guān)鍵點標(biāo)注方法，包括：對輸入的樣本圖像中的動物面部進行檢測，獲取動物面框及動物面部關(guān)鍵點位置；根據(jù)所述動物面框及動物面部關(guān)鍵點位置對所述輸入的樣本圖像進行處理，將處理后的樣本圖像送入預(yù)先訓(xùn)練的關(guān)鍵點預(yù)測網(wǎng)絡(luò)，獲取第一關(guān)鍵點預(yù)測結(jié)果；對所述第一關(guān)鍵點預(yù)測結(jié)果進行調(diào)整，獲取動物面部關(guān)鍵點的標(biāo)注點；根據(jù)預(yù)先定義的標(biāo)準(zhǔn)圖像對所述標(biāo)注點進行質(zhì)量檢測，獲取所述標(biāo)注點的質(zhì)量評分。本發(fā)明提供的技術(shù)方案能夠?qū)游锩娌筷P(guān)鍵點進行精確地標(biāo)注，并能對標(biāo)注點進行自動審核，從而在提高標(biāo)注精度的同時大大提高工作效率。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種動物面部關(guān)鍵點標(biāo)注方法。

背景技術(shù)

近年來，自拍美妝受到越來越多的關(guān)注，而對萌寵美妝的需求也展露頭角。與人臉美妝依賴于面部關(guān)鍵點的精確定位一樣，萌寵美妝也對動物面部關(guān)鍵點有很強的依賴性。目前，關(guān)于動物面部關(guān)鍵點定位的算法在學(xué)術(shù)圈和工業(yè)界都比較少，原因可能是相比于人臉關(guān)鍵點而言，動物面部關(guān)鍵點的標(biāo)注樣本比較少，缺乏公開的評測數(shù)據(jù)庫等。而對動物面部關(guān)鍵點定位算法的研究很大程度上依賴于對動物面部關(guān)鍵點的標(biāo)注，通過對動物面部的關(guān)鍵點進行標(biāo)注，經(jīng)過處理后形成動物面部關(guān)鍵點定位算法的一個訓(xùn)練樣本?？梢?，關(guān)鍵點標(biāo)注能夠直接影響關(guān)鍵點定位算法的精度。

目前對于動物面部關(guān)鍵點的標(biāo)注沿用了人臉關(guān)鍵點標(biāo)注系統(tǒng)，該系統(tǒng)包括以下幾個模塊：面部檢測模塊、關(guān)鍵點預(yù)測模塊和關(guān)鍵點標(biāo)注模塊，其中，關(guān)鍵點預(yù)測模塊和關(guān)鍵點標(biāo)注模塊是兩個完全獨立的模塊，該系統(tǒng)只是簡單地導(dǎo)入樣本圖片，對于關(guān)鍵點的標(biāo)注完全依靠工程師憑經(jīng)驗進行手動操作，因此，對于樣本圖片進行的面部關(guān)鍵點標(biāo)注不會很精確，從而會產(chǎn)生很多無效的標(biāo)注樣本，而這些無效的標(biāo)注樣本對提升關(guān)鍵點定位算法的性能毫無幫助。此外，人工標(biāo)注完成后還需要對全部標(biāo)注樣本進行人工審核，這也是一個非常耗時耗力的過程，不利于工作效率的提高。

發(fā)明內(nèi)容

本發(fā)明旨在提供一種動物面部關(guān)鍵點標(biāo)注方法，能夠?qū)游锩娌筷P(guān)鍵點進行精確地標(biāo)注，并能對標(biāo)注點進行自動審核，從而在提高標(biāo)注精度的同時大大提高工作效率。

為達到上述目的，本發(fā)明采用的技術(shù)方案如下：

一種動物面部關(guān)鍵點標(biāo)注方法，包括：

對輸入的樣本圖像中的動物面部進行檢測，獲取動物面框及動物面部關(guān)鍵點位置；根據(jù)所述動物面框及動物面部關(guān)鍵點位置對所述輸入的樣本圖像進行處理，將處理后的樣本圖像送入預(yù)先訓(xùn)練的關(guān)鍵點預(yù)測網(wǎng)絡(luò)，獲取第一關(guān)鍵點預(yù)測結(jié)果；對所述第一關(guān)鍵點預(yù)測結(jié)果進行調(diào)整，獲取動物面部關(guān)鍵點的標(biāo)注點；根據(jù)預(yù)先定義的標(biāo)準(zhǔn)圖像對所述標(biāo)注點進行質(zhì)量檢測，獲取所述標(biāo)注點的質(zhì)量評分。

優(yōu)選地，所述根據(jù)預(yù)先定義的標(biāo)準(zhǔn)圖像對所述標(biāo)注點進行質(zhì)量檢測，獲取所述標(biāo)注點的質(zhì)量評分的方法包括：獲取所述預(yù)先定義的標(biāo)準(zhǔn)圖像的關(guān)鍵點坐標(biāo)；計算所述標(biāo)注點的坐標(biāo)與所述標(biāo)準(zhǔn)圖像的關(guān)鍵點坐標(biāo)的相似變換矩陣；根據(jù)所述相似變換矩陣對所述輸入的樣本圖像做仿射變換，得到歸一化圖像；提取所述歸一化圖像的圖像特征；將所述圖像特征送入預(yù)先訓(xùn)練的分類器，獲取所述標(biāo)注點的質(zhì)量評分。

優(yōu)選地，所述圖像特征包括：HOG特征和/或深度特征；所述分類器的選取方式包括：決策樹，或邏輯回歸，或深度網(wǎng)絡(luò)。

進一步地，在所述對輸入的樣本圖像中的動物面部進行檢測之前，還包括：對欲標(biāo)注的樣本圖像的重要性進行評估。

優(yōu)選地，所述對欲標(biāo)注的樣本圖像的重要性進行評估的方法包括：獲取所述欲標(biāo)注的樣本圖像的關(guān)鍵點預(yù)測結(jié)果，為第二關(guān)鍵點預(yù)測結(jié)果；將所述欲標(biāo)注的樣本圖像進行左右翻轉(zhuǎn)，得到翻轉(zhuǎn)樣本圖像；獲取所述翻轉(zhuǎn)樣本圖像的關(guān)鍵點預(yù)測結(jié)果，為第三關(guān)鍵點預(yù)測結(jié)果；將所述第三關(guān)鍵點預(yù)測結(jié)果的坐標(biāo)進行左右翻轉(zhuǎn)，得到第四關(guān)鍵點預(yù)測結(jié)果；計算所述第四關(guān)鍵點預(yù)測結(jié)果與所述第二關(guān)鍵點預(yù)測結(jié)果之間的誤差；將所述誤差與預(yù)設(shè)的第二閾值進行比較，獲取所述欲標(biāo)注的樣本圖像的重要性。