[發(fā)明專利]物體識別模型的訓(xùn)練方法及裝置、物體識別方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202011212680.5
• 申請日: 2020-11-03
• 公開（公告）號: CN112287860B
• 公開（公告）日: 2022-01-07
• 發(fā)明（設(shè)計(jì)）人: 許新玉
• 申請（專利權(quán)）人: 北京京東乾石科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 中國貿(mào)促會專利商標(biāo)事務(wù)所有限公司 11038
• 代理人: 王莉莉

1.一種物體識別模型的訓(xùn)練方法，包括：

獲取訓(xùn)練集，訓(xùn)練集包括激光雷達(dá)采集的物體的點(diǎn)云標(biāo)注數(shù)據(jù)集，點(diǎn)云標(biāo)注數(shù)據(jù)集帶有真值邊界框；

根據(jù)點(diǎn)云標(biāo)注數(shù)據(jù)集中的點(diǎn)云數(shù)據(jù)，生成俯視圖；

利用特征提取器，從俯視圖提取多個(gè)不同分辨率的特征圖；

確定錨框的尺寸及其在特征圖上的位置，尺寸包括大小和寬高比；

以特征圖的每個(gè)像素為中心，生成不同尺寸的錨框；

在多個(gè)不同分辨率的特征圖上，將錨框與真值邊界框進(jìn)行匹配，以確定錨框的樣本類型；

基于不同樣本類型的錨框?qū)矸e神經(jīng)網(wǎng)絡(luò)的損失函數(shù)的貢獻(xiàn)，訓(xùn)練物體識別模型，其中訓(xùn)練物體識別模型包括：利用多任務(wù)學(xué)習(xí)方法，預(yù)測每個(gè)錨框的識別結(jié)果，識別結(jié)果包括錨框是否包含物體，以及錨框所含物體的位置、尺寸、方向和類別，多任務(wù)包括錨框所含物體是前景還是背景的二元分類任務(wù)，錨框所含物體的位置、大小和方向的回歸任務(wù)，以及錨框所含物體的類別的分類任務(wù)，其中，多任務(wù)共用特征提取器。

2.根據(jù)權(quán)利要求1所述的訓(xùn)練方法，其中，確定錨框的尺寸及其在特征圖上的位置包括：根據(jù)俯視圖及其對應(yīng)特征圖的尺寸，確定錨框在特征圖上的位置。

3.根據(jù)權(quán)利要求1所述的訓(xùn)練方法，其中，確定錨框的尺寸及其在特征圖上的位置包括：根據(jù)俯視圖的圖像密度，確定錨框的尺寸。

4.根據(jù)權(quán)利要求1所述的訓(xùn)練方法，其中，確定錨框的尺寸及其在特征圖上的位置包括：對訓(xùn)練集包括的真值邊界框進(jìn)行統(tǒng)計(jì)聚類，確定錨框的尺寸。

5.根據(jù)權(quán)利要求1所述的訓(xùn)練方法，其中，不同分辨率包括第一分辨率、第二分辨率和第三分辨率，其中第一分辨率大于第二分辨率，第二分辨率大于第三分辨率，在多個(gè)不同分辨率的特征圖上，將錨框與真值邊界框進(jìn)行匹配包括：

在第一分辨率的特征圖上，將具有第一尺寸的錨框與真值邊界框進(jìn)行匹配；

在第二分辨率的特征圖上，將具有第二尺寸的錨框與真值邊界框進(jìn)行匹配，第二尺寸大于第一尺寸；

在第三分辨率的特征圖上，將具有第三尺寸的錨框與真值邊界框進(jìn)行匹配，第三尺寸大于第二尺寸。

6.根據(jù)權(quán)利要求5所述的訓(xùn)練方法，其中，在多個(gè)不同分辨率的特征圖上，將錨框與真值邊界框進(jìn)行匹配，以確定錨框的樣本類型包括：

將錨框和真值邊界框投影到俯視圖的圖像坐標(biāo)系；

將錨框與真值邊界框進(jìn)行匹配，以確定錨框?qū)儆谡龢颖尽⒇?fù)樣本或被忽略樣本，其中，正樣本和負(fù)樣本對損失函數(shù)有貢獻(xiàn)，被忽略樣本對損失函數(shù)無貢獻(xiàn)。

7.根據(jù)權(quán)利要求6所述的訓(xùn)練方法，其中，將錨框與真值邊界框進(jìn)行匹配，以確定錨框?qū)儆谡龢颖尽⒇?fù)樣本或被忽略樣本包括：

根據(jù)錨框的幾何中心與真值邊界框的幾何中心之間的距離，確定錨框?qū)儆谡龢颖尽⒇?fù)樣本或被忽略樣本，

其中，與最近的真值邊界框的距離小于第一距離閾值的錨框?yàn)檎龢颖荆c任一真值邊界框距離最近的錨框?yàn)檎龢颖荆c最近的真值邊界框的距離大于或等于第二距離閾值的錨框?yàn)樨?fù)樣本，既不是正樣本也不是負(fù)樣本的其他錨框?yàn)楸缓雎詷颖荆诙嚯x閾值大于第一距離閾值。

8.根據(jù)權(quán)利要求6所述的訓(xùn)練方法，其中，將錨框與真值邊界框進(jìn)行匹配，以確定錨框?qū)儆谡龢颖尽⒇?fù)樣本或被忽略樣本包括：

根據(jù)錨框與真值邊界框的交并比，確定錨框?qū)儆谡龢颖尽⒇?fù)樣本或被忽略樣本，

其中，與真值邊界框的交并比大于第一比例閾值的錨框?yàn)檎龢颖荆c任一真值邊界框交并比最大的錨框?yàn)檎龢颖荆c真值邊界框的交并比小于或等于第二比例閾值的錨框?yàn)樨?fù)樣本，既不是正樣本也不是負(fù)樣本的其他錨框?yàn)楸缓雎詷颖荆诙壤撝敌∮诘谝槐壤撝怠?/p>