[發(fā)明專利]一種基于輕量化網(wǎng)絡(luò)的騎車人關(guān)鍵點(diǎn)檢測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202211498914.6
• 申請(qǐng)日: 2022-11-28
• 公開（公告）號(hào): CN115937820A
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 張琦;袁聰;劉富鈺;吳犀;周春宇
• 申請(qǐng)（專利權(quán)）人: 重慶長(zhǎng)安汽車股份有限公司
• 主分類號(hào): G06V20/58
• 分類號(hào): G06V20/58;G06V40/10;G06V10/46;G06V10/25;G06V10/82;G06N3/0464;G06N3/0455
• 代理公司: 廣州市華學(xué)知識(shí)產(chǎn)權(quán)代理有限公司 44245
• 代理人: 杜柱東

1.一種基于輕量化網(wǎng)絡(luò)的騎車人關(guān)鍵點(diǎn)檢測(cè)方法，其特征在于，包括：

S1：多場(chǎng)景訓(xùn)練圖像數(shù)據(jù)采集；

S2：以輕量化訓(xùn)練網(wǎng)絡(luò)UNet網(wǎng)絡(luò)為基礎(chǔ)框架，構(gòu)建網(wǎng)絡(luò)模型；

S3：對(duì)所述訓(xùn)練圖像數(shù)據(jù)進(jìn)行處理，獲得包含騎車人框信息、騎車人關(guān)鍵點(diǎn)位置信息與屬性信息的打包數(shù)據(jù)；

S4：將所述打包數(shù)據(jù)輸入到所述網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練，獲得騎車人關(guān)鍵點(diǎn)模型；

S5：將待檢測(cè)騎車人圖像數(shù)據(jù)輸入騎車人關(guān)鍵點(diǎn)檢測(cè)模型中，獲得騎車人關(guān)鍵點(diǎn)坐標(biāo)。

2.根據(jù)權(quán)利要求1所述的一種基于輕量化網(wǎng)絡(luò)的騎車人關(guān)鍵點(diǎn)檢測(cè)方法，其特征在于，所述步驟S3的方法為：

S31：對(duì)所述訓(xùn)練圖像數(shù)據(jù)進(jìn)行檢測(cè)框刷取，獲得初步處理圖像數(shù)據(jù)；

S32：對(duì)所述初步處理圖像數(shù)據(jù)進(jìn)行關(guān)鍵點(diǎn)標(biāo)注，并對(duì)標(biāo)注的關(guān)鍵點(diǎn)添加屬性標(biāo)簽，獲得標(biāo)注圖像數(shù)據(jù)；

S33：將所述標(biāo)注圖像數(shù)據(jù)打包為適配MXNet框架的數(shù)據(jù)格式，獲得打包數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的一種基于輕量化網(wǎng)絡(luò)的騎車人關(guān)鍵點(diǎn)檢測(cè)方法，其特征在于，所述步驟S4的方法為：

S41：讀取所述打包數(shù)據(jù)中的訓(xùn)練圖片，并對(duì)所述訓(xùn)練圖片進(jìn)行坐標(biāo)轉(zhuǎn)換；

S42：對(duì)坐標(biāo)轉(zhuǎn)換后的所述訓(xùn)練圖片進(jìn)行預(yù)處理，形成輸入網(wǎng)絡(luò)的tensor張量格式數(shù)據(jù)；

S43：將所述tensor張量格式數(shù)據(jù)按批次輸入所述網(wǎng)絡(luò)模型中；

S44：完成所有訓(xùn)練批次與設(shè)定的訓(xùn)練迭代數(shù)次之后，獲得所述騎車人關(guān)鍵點(diǎn)模型。

4.根據(jù)權(quán)利要求1所述的一種基于輕量化網(wǎng)絡(luò)的騎車人關(guān)鍵點(diǎn)檢測(cè)方法，其特征在于，所述步驟S5的方法為：

S51：對(duì)待檢測(cè)騎車人圖像數(shù)據(jù)進(jìn)行檢測(cè)框刷取；

S52：對(duì)刷取檢測(cè)框后的待檢測(cè)騎車人圖像數(shù)據(jù)進(jìn)行坐標(biāo)轉(zhuǎn)換，獲得輸入數(shù)據(jù)；

S53：將所述輸入數(shù)據(jù)輸入所述騎車人關(guān)鍵點(diǎn)模型中，進(jìn)行模型推理，再經(jīng)過反坐標(biāo)轉(zhuǎn)換，獲得所述騎車人關(guān)鍵點(diǎn)坐標(biāo)。

5.根據(jù)權(quán)利要求2所述的一種基于輕量化網(wǎng)絡(luò)的騎車人關(guān)鍵點(diǎn)檢測(cè)方法，其特征在于，所述步驟S32的方法為：

S321：獲取所述初步處理圖像數(shù)據(jù)中的所有圖片；

S322：依次對(duì)每張圖片中的每個(gè)騎車人的后輪胎接地點(diǎn)、前輪胎接地點(diǎn)的位置坐標(biāo)進(jìn)行標(biāo)注，獲得每個(gè)騎車人的前輪關(guān)鍵點(diǎn)和后輪關(guān)鍵點(diǎn)；

S323：根據(jù)每個(gè)所述前輪關(guān)鍵點(diǎn)和每個(gè)所述后輪關(guān)鍵點(diǎn)的遮擋情況，為所述前輪關(guān)鍵點(diǎn)或所述后輪關(guān)鍵點(diǎn)添加遮擋屬性標(biāo)簽；

S324：根據(jù)每個(gè)所述前輪關(guān)鍵點(diǎn)和每個(gè)所述后輪關(guān)鍵點(diǎn)對(duì)應(yīng)圖像的清晰程度，為所述前輪關(guān)鍵點(diǎn)或所述后輪關(guān)鍵點(diǎn)添加信任度屬性標(biāo)簽；

S325：根據(jù)所述前輪關(guān)鍵點(diǎn)或所述后輪關(guān)鍵點(diǎn)的所述折疊屬性標(biāo)簽和信任度屬性標(biāo)簽情況，添加忽略屬性標(biāo)簽，獲得所述標(biāo)注圖像數(shù)據(jù)。

6.根據(jù)權(quán)利要求2所述的一種基于輕量化網(wǎng)絡(luò)的騎車人關(guān)鍵點(diǎn)檢測(cè)方法，其特征在于，所述步驟S33的方法為：通過圖像數(shù)據(jù)打包接口RecordIO，對(duì)所述標(biāo)注圖像數(shù)據(jù)進(jìn)行打包，生成rec格式訓(xùn)練數(shù)據(jù)集的打包數(shù)據(jù)。

7.根據(jù)權(quán)利要求3所述的一種基于輕量化網(wǎng)絡(luò)的騎車人關(guān)鍵點(diǎn)檢測(cè)方法，其特征在于，所述步驟S41的方法為：

S411：使用MXNet訓(xùn)練框架的數(shù)據(jù)讀取接口Dataset和DataLoader讀取所述打包數(shù)據(jù)，獲得所述訓(xùn)練圖片；

S412：依次將每張所述訓(xùn)練圖片中的騎車人從所述訓(xùn)練圖片中用free?transformer轉(zhuǎn)換方法轉(zhuǎn)換成單個(gè)尺寸的騎車人圖片，獲得包含多個(gè)所述騎車人圖片的圖片數(shù)據(jù)集。

8.根據(jù)權(quán)利要求7所述的一種基于輕量化網(wǎng)絡(luò)的騎車人關(guān)鍵點(diǎn)檢測(cè)方法，其特征在于，所述步驟S42的方法為：

S421：根據(jù)所述屬性標(biāo)簽，對(duì)所述圖片數(shù)據(jù)集中的所述騎車人圖片進(jìn)行數(shù)據(jù)采樣；

S422：對(duì)所述圖片數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)，并對(duì)所述圖片數(shù)據(jù)集進(jìn)行l(wèi)abel轉(zhuǎn)換與歸一化處理，形成輸入網(wǎng)絡(luò)的tensor張量格式數(shù)據(jù)。

9.根據(jù)權(quán)利要求7所述的一種基于輕量化網(wǎng)絡(luò)的騎車人關(guān)鍵點(diǎn)檢測(cè)方法，其特征在于，所述步驟S44的方法為：

S441：通過所述網(wǎng)絡(luò)模型獲得關(guān)鍵點(diǎn)熱圖，以及以所述前輪關(guān)鍵點(diǎn)和所述后輪關(guān)鍵點(diǎn)為中心點(diǎn)生成的高斯熱圖；

S442：根據(jù)所述關(guān)鍵點(diǎn)熱圖和所述高斯熱圖之間的誤差，通過Smooth?L1?loss，定義不同屬性下的loss計(jì)算權(quán)重與數(shù)據(jù)采樣比例相同，計(jì)算訓(xùn)練loss，進(jìn)一步計(jì)算梯度，然后回傳進(jìn)行模型參數(shù)更新；

S443：在完成所有訓(xùn)練批次與設(shè)定的訓(xùn)練迭代數(shù)次之后，獲得騎車人關(guān)鍵點(diǎn)模型。