[發(fā)明專利]關鍵點檢測方法、系統(tǒng)、設備及存儲介質

在審

• 申請?zhí)枺?/td>: 201811558885.1
• 申請日: 2018-12-19
• 公開（公告）號: CN111340043A
• 公開（公告）日: 2020-06-26
• 發(fā)明（設計）人: 李翌昕;葉韻
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/34;G06K9/62
• 代理公司: 北京律智知識產(chǎn)權代理有限公司 11438
• 代理人: 袁禮君;闞梓瑄

本發(fā)明提供了一種關鍵點檢測方法、系統(tǒng)、設備及存儲介質，所述方法包括：將待檢測圖像輸入訓練好的激活圖生成模型，得到至少一個階段的梯度類別激活圖；將待檢測圖像和梯度類別激活圖輸入訓練好的關鍵點檢測模型，其中梯度類別激活圖分別輸入對應的非局部模塊，得到關鍵點預測圖；分析所述關鍵點預測圖中所有連通區(qū)域，計算面積最大的連通區(qū)域的中心，作為對應關鍵點的位置。本發(fā)明基于空間注意力機制實現(xiàn)快速準確地檢測關鍵點，不僅可以應用于服飾關鍵點的檢測，也可以應用于其他領域其他類別圖像的關鍵點的檢測。

技術領域

本發(fā)明涉及圖像處理技術領域，尤其涉及一種關鍵點檢測方法、系統(tǒng)、設備及存儲介質。

背景技術

關鍵點檢測是計算機視覺中的常見任務之一，通過對圖像進行識別判斷圖像中是否存在關鍵點以及關鍵點的位置，例如：人體關鍵點檢測，車輛關鍵點檢測，服飾關鍵點檢測等等。服飾關鍵點是服飾中標定的一些特殊位置，例如袖口，領口，褲腳等等。對服飾中的關鍵點進行檢測，可以在后續(xù)對服飾的理解中起到作用，例如幫助對服飾屬性和類別的預測等等。

現(xiàn)存的關鍵點檢測主要有兩大類方法，第一類是通過卷積神經(jīng)網(wǎng)絡直接將圖像作為輸入，同時直接對關鍵點坐標進行回歸；第二類則是當下更為主流的方法，是將關鍵點轉化為熱力圖(heatmap)，然后通過卷積神經(jīng)網(wǎng)絡對熱力圖進行回歸。

網(wǎng)絡結構上的方案，關鍵點heatmap回歸的網(wǎng)絡結構常見的有hourglass結構，通過對hourglass網(wǎng)絡進行輸入得到熱力圖，進而得到關鍵點。除了直接對熱力圖進行回歸的思路，還有對回歸后的關鍵點進行優(yōu)化的思路。然而，現(xiàn)有技術中的方法對關鍵點的檢測仍有一些缺陷，其準確率仍有進一步提升的空間，同時利用循環(huán)神經(jīng)網(wǎng)絡的速度過慢，效率較低。

發(fā)明內容

針對現(xiàn)有技術中的問題，本發(fā)明的目的在于提供一種關鍵點檢測方法、系統(tǒng)、設備及存儲介質，基于空間注意力機制實現(xiàn)快速準確地檢測關鍵點。

本發(fā)明實施例提供一種關鍵點檢測方法，所述方法包括如下步驟：

將待檢測圖像輸入訓練好的激活圖生成模型，所述激活圖生成模型包括至少一個階段的激活圖生成模塊，得到至少一個階段的梯度類別激活圖；

將待檢測圖像和梯度類別激活圖輸入訓練好的關鍵點檢測模型，所述關鍵點檢測模型包括與所述激活圖生成模塊一一對應的非局部模塊，所述梯度類別激活圖分別輸入對應的非局部模塊，得到關鍵點預測圖；

分析所述關鍵點預測圖中所有連通區(qū)域，計算面積最大的連通區(qū)域的中心，作為對應關鍵點的位置。

可選地，所述將待檢測圖像輸入訓練好的第一識別模型之前，還包括如下步驟：

將待檢測圖像輸入訓練好的分類模型，得到待檢測圖像的分類結果；

將待檢測圖像和分類結果一起輸入訓練好的激活圖生成模型。

可選地，所述激活圖生成模型中，第一個激活圖生成模塊之前以及每兩個激活圖生成模塊之間分別設置有一卷積單元。

可選地，所述關鍵點檢測模型中，第一非局部模塊之前以及每兩個非局部模塊之間分別設置有一卷積單元。

可選地，所述關鍵點檢測模型采用特征金字塔結構。

可選地，所述得到關鍵點預測圖之后，還包括如下步驟：

將關鍵點檢測模型輸出的關鍵點預測圖輸入優(yōu)化識別模型，所述優(yōu)化識別模型包括至少一個卷積單元；

分析所述優(yōu)化識別模型輸出的關鍵點預測圖中所有連通區(qū)域，計算面積最大的連通區(qū)域的中心，作為對應關鍵點的位置。

可選地，所述方法還包括如下步驟：