[發(fā)明專利]車輛環(huán)境信息感知方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110078457.4
• 申請(qǐng)日: 2021-01-21
• 公開（公告）號(hào): CN112396043B
• 公開（公告）日: 2021-04-27
• 發(fā)明（設(shè)計(jì)）人: 馮思淵;張偉康;王曉東;張?zhí)炖?/a>
• 申請(qǐng)（專利權(quán)）人: 北京主線科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/46;G06K9/62
• 代理公司: 北京鼎佳達(dá)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11348
• 代理人: 侯菲菲;劉鐵生

1.一種車輛環(huán)境信息感知方法，其特征在于，包括：

獲取當(dāng)前概率熱力圖的張量，所述當(dāng)前概率熱力圖是基于當(dāng)前車輛的傳感器當(dāng)前獲取的原始點(diǎn)云數(shù)據(jù)得到的；

獲取預(yù)測(cè)概率熱力圖的張量，所述預(yù)測(cè)概率熱力圖用于指示當(dāng)前車輛在上一幀預(yù)測(cè)的當(dāng)前幀的環(huán)境信息；

將所述當(dāng)前概率熱力圖的張量與所述預(yù)測(cè)概率熱力圖的張量合并，得到密集張量；

從所述密集張量中獲取車頭的中心點(diǎn)位置和方向以及車掛的中心點(diǎn)位置和方向，所述車頭和所述車掛屬于同一個(gè)半掛車；

以所述車頭的中心點(diǎn)位置向所述車頭的方向延伸，以及以所述車掛的中心點(diǎn)位置向所述車掛的方向延伸，將延伸后的交點(diǎn)確定為所述車頭和所述車掛的連接關(guān)鍵點(diǎn)位置；

基于所述車頭和所述車掛的連接關(guān)鍵點(diǎn)位置確定所述半掛車的當(dāng)前狀態(tài)；

所述將所述當(dāng)前概率熱力圖的張量與所述預(yù)測(cè)概率熱力圖的張量合并，得到密集張量，包括：

對(duì)當(dāng)前概率熱力圖的(K, H, W)張量，進(jìn)行第一維的max提取，得到當(dāng)前概率熱力圖的(1, H, W)張量；K是概率熱力圖的通道數(shù)，H是概率熱力圖的高度，W是概率熱力圖的寬度；

對(duì)預(yù)測(cè)概率熱力圖的(K, H, W)張量，進(jìn)行第一維的max提取，得到預(yù)測(cè)概率熱力圖的(1, H, W)張量；

如果目標(biāo)效果壓縮是初始化階段，就基于當(dāng)前概率熱力圖，輸出目標(biāo)概率為0.5，大小為 (1, H, W) 的均勻張量；

如果目標(biāo)壓縮效果是非初始化階段，就將當(dāng)前概率熱力圖的(1, H, W)張量與預(yù)測(cè)概率熱力圖的(1, H, W)張量合并，輸出大小為 (2, C1+1, H, W) 的密集張量；

所述從所述密集張量中獲取車頭的中心點(diǎn)位置和方向以及車掛的中心點(diǎn)位置和方向，包括：

將所述密集張量切分為1~K、K+1~K+2、K+3~K+6、K+7~K+9、K+10~K+11；其中，1~K用于指示目標(biāo)的K種類型，K+1~K+2為目標(biāo)的二維偏置向量，K+3~K+6為目標(biāo)的三維尺寸，K+7~K+9為目標(biāo)的預(yù)測(cè)方向，K+10~K+11為目標(biāo)的連接關(guān)鍵點(diǎn)位置向量。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述從所述密集張量中獲取車頭的中心點(diǎn)位置和方向以及車掛的中心點(diǎn)位置和方向，包括：

采用環(huán)境感知模型，基于所述密集張量計(jì)算出所述車頭的中心點(diǎn)位置以及與所述車頭相關(guān)的亞像素級(jí)的細(xì)粒度矯正；

采用所述亞像素級(jí)的細(xì)粒度矯正調(diào)整所述車頭的中心點(diǎn)位置；

其中，所述環(huán)境感知模型是采用smooth_L1損失函數(shù)優(yōu)化后得到的，所述smooth_L1損失函數(shù)為

其中，是smooth_L1損失函數(shù)；是點(diǎn)云中前景點(diǎn)的個(gè)數(shù)；，是輸出目標(biāo)中心位置的估計(jì)結(jié)果；是輸出目標(biāo)中心位置的實(shí)際結(jié)果；1是指示函數(shù)；是一個(gè)二值的標(biāo)簽，當(dāng)?shù)奈恢貌艜?huì)參與offset loss的計(jì)算。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述從所述密集張量中獲取車頭的中心點(diǎn)位置和方向以及車掛的中心點(diǎn)位置和方向，包括：

采用環(huán)境感知模型，基于所述密集張量計(jì)算出所述車頭的方向；

其中，所述環(huán)境感知模型是采用softmax損失函數(shù)優(yōu)化后得到的，所述softmax損失函數(shù)為

)

其中，是softmax損失函數(shù)；是目標(biāo)個(gè)數(shù)；代表目標(biāo)；是一種損失函數(shù)；，代表第個(gè)目標(biāo)是否屬于第個(gè)角度類別，=2，包括兩類角度；，大小與相同，代表第個(gè)目標(biāo)是否屬于第個(gè)角度類別，代表第個(gè)角度類別，1是指示函數(shù)；是第個(gè)物體在鳥瞰圖坐標(biāo)系下相對(duì)z軸的旋轉(zhuǎn)角度；是角度類別；是輸出目標(biāo)方向的估計(jì)結(jié)果；是輸出目標(biāo)方向的實(shí)際結(jié)果。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述得到密集張量之后，所述方法還包括：

采用環(huán)境感知模型，基于所述密集張量計(jì)算出當(dāng)前環(huán)境中目標(biāo)的類型；

其中，所述環(huán)境感知模型是采用focal loss函數(shù)優(yōu)化后得到的，所述focal loss函數(shù)為

其中，是focal loss損失函數(shù)；是當(dāng)前幀中目標(biāo)個(gè)數(shù)；是BEV坐標(biāo)系中的二維坐標(biāo)；是通道數(shù)，總數(shù)與目標(biāo)類別數(shù)量一致；是在第通道處、坐標(biāo)位置上的二分類值；是focal loss的超參數(shù)，分別對(duì)應(yīng)著對(duì)樣本量大和小的物體訓(xùn)練關(guān)注程度的權(quán)重。