[發(fā)明專利]一種二階段的自行車小類關(guān)鍵點(diǎn)置信度圖像CNN識(shí)別方法

在審

• 申請?zhí)枺?/td>: 202010624251.2
• 申請日: 2020-07-01
• 公開（公告）號(hào): CN111814647A
• 公開（公告）日: 2020-10-23
• 發(fā)明（設(shè)計(jì)）人: 唐燦;曹曉莉;唐亮貴;江朝元
• 申請（專利權(quán)）人: 重慶工商大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/34;G06K9/62;G06N3/04
• 代理公司: 重慶為信知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 50216
• 代理人: 鄭鯤熙

1.一種二階段的自行車小類關(guān)鍵點(diǎn)置信度圖像CNN識(shí)別方法，其特征在于，包括如下步驟：

步驟A：輸入待識(shí)別的圖像；

步驟B：對圖像預(yù)處理；

步驟C：使用Mask R-CNN網(wǎng)絡(luò)分割出其中的自行車圖像A；

步驟D：加載建立的自定義網(wǎng)絡(luò)及其網(wǎng)絡(luò)權(quán)重；

其中步驟D建立自定義網(wǎng)絡(luò)獲其網(wǎng)絡(luò)權(quán)重包括如下步驟：

步驟D1：從訓(xùn)練庫中取出一批包含自行車圖像B的訓(xùn)練圖片；

步驟D2：對訓(xùn)練圖片進(jìn)行增強(qiáng)處理；

步驟D3：使用Mask R-CNN網(wǎng)絡(luò)分割出其中的自行車圖像B；

步驟D4：對分割出的自行車圖像B進(jìn)行人工關(guān)鍵點(diǎn)的標(biāo)注；生成包含人工關(guān)鍵點(diǎn)的高斯置信度圖；

步驟D5：使用自定義的CNN網(wǎng)絡(luò)進(jìn)行特征提取，并計(jì)算與人工關(guān)鍵點(diǎn)的距離；

步驟D6：是否達(dá)到了要求的精度或迭代了設(shè)定的次數(shù)N；如果否，轉(zhuǎn)步驟D1，如果是保存網(wǎng)絡(luò)權(quán)重；

步驟E：對步驟C分割出的自行車圖像A使用步驟D中自定義的CNN網(wǎng)絡(luò)及其網(wǎng)絡(luò)權(quán)重進(jìn)行特征提取，并自動(dòng)分為小類；

步驟F：輸出小類。

2.根據(jù)權(quán)利要求1所述的一種二階段的自行車小類關(guān)鍵點(diǎn)置信度圖像CNN識(shí)別方法，其特征在于：所述步驟D3：使用Mask R-CNN網(wǎng)絡(luò)對增強(qiáng)處理后的訓(xùn)練圖片進(jìn)行分割；取得自行車圖像B的分割區(qū)域集合Ma；按Ma集合，對輸入訓(xùn)練圖片進(jìn)行置位處理，生成分割結(jié)果圖像Pt。

3.根據(jù)權(quán)利要求2所述的一種二階段的自行車小類關(guān)鍵點(diǎn)置信度圖像CNN識(shí)別方法，其特征在于：所述步驟D4：對于分割結(jié)果圖像Pt，人工標(biāo)注其人工關(guān)鍵點(diǎn)；生成包含人工關(guān)鍵點(diǎn)的高斯置信度圖。

4.根據(jù)權(quán)利要求3所述的一種二階段的自行車小類關(guān)鍵點(diǎn)置信度圖像CNN識(shí)別方法，其特征在于：所述步驟D5中使用自定義的CNN網(wǎng)絡(luò)進(jìn)行特征提取包括：首先使用VGG網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)提取特征；然后使用空洞卷積，進(jìn)一步的加大感受野，得到置信度圖P_p；

計(jì)算與人工關(guān)鍵點(diǎn)的距離包括：對于置信度圖P_p中的所有對應(yīng)的人工關(guān)鍵點(diǎn)區(qū)域，按特征要求進(jìn)行計(jì)算人工關(guān)鍵點(diǎn)的指定特征的特征值；將所有的特征值組成特征向量，此特征向量即為自行車的特征向量矩陣；對于多個(gè)關(guān)鍵點(diǎn)組成的特征向量進(jìn)行相似度度量，計(jì)算相似度閾值v；

步驟D6中，是否達(dá)到了要求的精度包括：

如果相似度閾值v小于指定閾值V₀，則表示為同一小類；如果否，轉(zhuǎn)步驟D1。

5.根據(jù)權(quán)利要求3所述的一種二階段的自行車小類關(guān)鍵點(diǎn)置信度圖像CNN識(shí)別方法，其特征在于：采用如下公式(1)生成包含人工關(guān)鍵點(diǎn)的高斯置信度圖；其生成置信度函數(shù)為：

其中表示分割結(jié)果圖像Pt上的p點(diǎn)相對于第k個(gè)人工關(guān)鍵點(diǎn)的置信度；x_k表示k點(diǎn)的正確標(biāo)注，δ表示峰值擴(kuò)散系數(shù)。

6.根據(jù)權(quán)利要求4所述的一種二階段的自行車小類關(guān)鍵點(diǎn)置信度圖像CNN識(shí)別方法，其特征在于：所述對于置信度圖P_p中的所有對應(yīng)的人工關(guān)鍵點(diǎn)區(qū)域，按特征要求進(jìn)行計(jì)算人工關(guān)鍵點(diǎn)的指定特征的特征值包括：

此公式(2)中，E_k表示人工關(guān)鍵點(diǎn)k的指定特征的特征值；Cp表示點(diǎn)p在置信度圖P_p中的指定特征值，表示點(diǎn)p是人工關(guān)鍵點(diǎn)k的置信度，獲得人工關(guān)鍵點(diǎn)k的特征值；

將所有的特征值組成特征向量：

X＝[E₁,E₂,…,E_n],此特征向量X即為此物體的特征向量矩陣；n表示人工關(guān)鍵點(diǎn)的個(gè)數(shù)；

對于n個(gè)人工關(guān)鍵點(diǎn)k組成的特征向量，采用如下二范數(shù)度量公式(3)進(jìn)行相似度度量；

v＝||X-X_t||₂ (3)

其中，X_t表示小類的特征向量，X表示待分類特征向量；使用二范數(shù)度量公式(3)來進(jìn)行計(jì)算，如果v小于指定閾值V₀，則表示可分為同一小類。

7.根據(jù)權(quán)利要求1所述的一種二階段的自行車小類關(guān)鍵點(diǎn)置信度圖像CNN識(shí)別方法，其特征在于：所述步驟E中，對自定義CNN網(wǎng)絡(luò)的輸出向量進(jìn)行softmax函數(shù)處理，歸一為概率值，即可輸出對應(yīng)小類。