[發(fā)明專利]一種基于YOLO的2D姿態(tài)檢測方法

在審

• 申請?zhí)枺?/td>: 202310094627.7
• 申請日: 2023-02-10
• 公開（公告）號: CN115953806A
• 公開（公告）日: 2023-04-11
• 發(fā)明（設計）人: 都衛(wèi)東;和江鎮(zhèn);祝偉
• 申請（專利權）人: 征圖新視（江蘇）科技股份有限公司
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/22;G06V10/762;G06V10/764;G06V10/82;G06N3/08
• 代理公司: 常州品益專利代理事務所(普通合伙) 32401
• 代理人: 王涵江

1.一種基于YOLO的2D姿態(tài)檢測方法，其特征在于：包括以下步驟，

1)訓練集標注；標注出訓練集圖片中檢測對象的Bbox，即Bounding?box、檢測對象所有關鍵點坐標及關鍵點類別、各個關鍵點連接順序；

2)訓練檢測模型并進行檢測；

3)檢測時的輸入包含待檢測圖片與關鍵點連接順序兩部分組成；先經(jīng)過檢測模型檢測出檢測對象的Bbox、Bbox的embedding值，關鍵點的坐標、關鍵點的embedding值；然后關鍵點匹配組合部分根據(jù)embedding值將同個檢測對象的關鍵點組合到一起，再依據(jù)關鍵點連接順序確定檢測對象位置及姿態(tài)。

2.如權利要求1所述的一種基于YOLO的2D姿態(tài)檢測方法，其特征在于：所述的步驟1)中，同一個檢測對象的關鍵點數(shù)量、關鍵點類別完全相同且各個關鍵點的連接方式唯一，關鍵點的連接順序標注時只創(chuàng)建一次。

3.如權利要求2所述的一種基于YOLO的2D姿態(tài)檢測方法，其特征在于：所述的步驟3)中，關鍵點檢測部分采用YoloX的backbone；輸出的是點類型的目標，采用高分辨率的特征圖提高定位精度，backbone中去掉了一個CSP1和CBA的結(jié)構，使原始backbone輸出的特征圖尺寸由(W/8,H/8)、(W/16,H/16)、(W/32,H/32)變?yōu)?W/4,H/4)、(W/8,H/8)、(W/16,H/16)，其中W、H為輸入圖片的寬與高。

4.如權利要求3所述的一種基于YOLO的2D姿態(tài)檢測方法，其特征在于：所述的步驟3)中，embedding?head的loss計算方法如下：

其中，P＝{(p_nk)}，n∈[1,N]，k∈[1,K]；p_nk表示第n個目標的第k個關鍵點的坐標；e_nk(p_nk)是預測的第n個目標的第k個關鍵點的embedding值，是第n個目標的參考embedding，是當前目標所有關鍵點embedding的均值，計算方法如下：

5.如權利要求4所述的一種基于YOLO的2D姿態(tài)檢測方法，其特征在于：所述的步驟3)中，在對關鍵點匹配時，使用MeanShift算法對關鍵點的embedding進行聚類，包括以下步驟：

1、在未被標記的數(shù)據(jù)點中隨機n個點作為n個聚類的起始中心點center；

2、找出以center為中心，半徑為radius的區(qū)域中出現(xiàn)的所有數(shù)據(jù)點，認為這些點同屬于一個聚類C；同時將在該聚類中數(shù)據(jù)點的訪問頻率加1；

3、以center為中心點，計算center點到集合M中每個數(shù)據(jù)點的向量之和，得到向量shift，對于給定的d維空間中的n個樣本點xi,i＝1,...,n,對于點x，MeanShift向量的基本形式為：

4、center點沿著向量shift的方向移動，移動距離是||shift||；

5、迭代:重復步驟2、3、4，直到||shift||很小，即迭代到收斂，記住此時的center；這個迭代過程中遇到的點都應該歸類到簇C；

6、如果收斂時當前簇C的center與其它已經(jīng)存在的簇C2中心的距離小于閾值，那么把C2和C合并，數(shù)據(jù)點出現(xiàn)次數(shù)也對應合并；否則，把C作為新的聚類；

7、重復1、2、3、4、5、6直到所有的點都被標記為已訪問；

8、根據(jù)每個類，對每個點的訪問頻率，取訪問頻率最大的那個類，作為當前點集的所屬類。