[發(fā)明專(zhuān)利]用于運(yùn)載工具的方法和系統(tǒng)以及運(yùn)載工具

在審

• 申請(qǐng)?zhí)枺?/td>: 202110758240.8
• 申請(qǐng)日: 2021-07-05
• 公開(kāi)（公告）號(hào): CN114419331A
• 公開(kāi)（公告）日: 2022-04-29
• 發(fā)明（設(shè)計(jì)）人: V·E·B·里昂;O·O·貝基波姆
• 申請(qǐng)（專(zhuān)利權(quán)）人: 動(dòng)態(tài)AD有限責(zé)任公司
• 主分類(lèi)號(hào): G06V10/44
• 分類(lèi)號(hào): G06V10/44;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京林達(dá)劉知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11277
• 代理人: 劉新宇

本發(fā)明涉及用于運(yùn)載工具的方法和系統(tǒng)以及運(yùn)載工具。公開(kāi)了使用LSN的GPE的實(shí)施例。在實(shí)施例中，方法包括：從在環(huán)境中操作的運(yùn)載工具的深度傳感器獲得點(diǎn)云；對(duì)點(diǎn)云進(jìn)行編碼；使用深度學(xué)習(xí)網(wǎng)絡(luò)以經(jīng)編碼的點(diǎn)云作為輸入來(lái)估計(jì)環(huán)境中的地平面；基于所估計(jì)的地平面的可駕駛區(qū)域來(lái)規(guī)劃通過(guò)環(huán)境的路徑；以及沿路徑操作運(yùn)載工具。深度學(xué)習(xí)網(wǎng)絡(luò)包括二維(2D)卷積主干和用于估計(jì)地平面的地平面估計(jì)(GPE)頭。在實(shí)施例中，使用點(diǎn)柱對(duì)點(diǎn)云進(jìn)行編碼。

技術(shù)領(lǐng)域

以下描述大體上涉及用于自主運(yùn)載工具的路線規(guī)劃的地面估計(jì)。

背景技術(shù)

安裝在自主運(yùn)載工具(AV)上的光檢測(cè)和測(cè)距(LiDAR)傳感器輸出三維(3D)點(diǎn)云，該三維點(diǎn)云提供對(duì)AV周?chē)沫h(huán)境的詳細(xì)理解。地平面估計(jì)(GPE)是地平面相對(duì)于自主運(yùn)載工具的高度的量度。精確的GPE有助于高效的基于融合的自主駕駛。然而，現(xiàn)有的感知流水線通常使用傳統(tǒng)的機(jī)器學(xué)習(xí)技術(shù)將LiDAR點(diǎn)分類(lèi)為前景或地面。

發(fā)明內(nèi)容

提供了使用LiDAR語(yǔ)義網(wǎng)絡(luò)(LSN)的GPE的技術(shù)。

在實(shí)施例中，一種方法，包括：使用至少一個(gè)處理器從在環(huán)境中操作的所述運(yùn)載工具的深度傳感器獲得點(diǎn)云；使用所述至少一個(gè)處理器對(duì)所述點(diǎn)云進(jìn)行編碼；使用深度學(xué)習(xí)網(wǎng)絡(luò)以經(jīng)編碼的點(diǎn)云作為輸入來(lái)估計(jì)所述環(huán)境中的地平面；使用所估計(jì)的地平面和所述環(huán)境的地圖來(lái)確定所述環(huán)境中的可駕駛區(qū)域；使用所述至少一個(gè)處理器基于所述可駕駛區(qū)域來(lái)規(guī)劃通過(guò)所述環(huán)境的路徑；以及使用所述運(yùn)載工具的控制電路沿所述路徑操作所述運(yùn)載工具。

在實(shí)施例中，所述深度學(xué)習(xí)網(wǎng)絡(luò)包括二維卷積主干即2D卷積主干、以及用于估計(jì)所述地平面的地平面估計(jì)頭即GPE頭，所述方法還包括：使用所述至少一個(gè)處理器根據(jù)所述2D卷積主干的多個(gè)步幅獲得特征圖；使用所述至少一個(gè)處理器將各特征圖上采樣為原始特征圖大小；以及使用所述至少一個(gè)處理器和加權(quán)求和來(lái)組合上采樣特征圖以生成用于估計(jì)所述地平面的輸出圖。

在實(shí)施例中，對(duì)所述點(diǎn)云進(jìn)行編碼還包括：將所述點(diǎn)云劃分為圖像嵌入中的2D柱；針對(duì)各柱，選擇多個(gè)采樣點(diǎn)；向所選擇的采樣點(diǎn)添加多個(gè)增強(qiáng)；以及使用點(diǎn)網(wǎng)絡(luò)來(lái)處理各柱以獲得該柱的點(diǎn)特征；將所述點(diǎn)特征基于相應(yīng)的柱位置繪制成點(diǎn)特征圖以創(chuàng)建2D點(diǎn)特征圖；使用所述2D卷積主干對(duì)所述2D點(diǎn)特征圖進(jìn)行處理以獲得不同步幅的豐富特征圖；以及將所述豐富特征圖傳遞到所述GPE頭以估計(jì)所述地平面。

在實(shí)施例中，所述圖像嵌入是鳥(niǎo)瞰圖像即BEV圖像。

在實(shí)施例中，所述GPE頭包括一個(gè)或多個(gè)卷積層。

在實(shí)施例中，一種方法包括：使用至少一個(gè)處理器獲得在環(huán)境中操作的深度傳感器所捕獲的點(diǎn)云；使用至少一個(gè)處理器對(duì)所述點(diǎn)云進(jìn)行編碼；以及使用深度學(xué)習(xí)網(wǎng)絡(luò)以經(jīng)編碼的點(diǎn)云作為輸入來(lái)估計(jì)所述環(huán)境中的地平面；使用所述至少一個(gè)處理器將所估計(jì)的地平面與地面真值圖進(jìn)行比較以確定地平面估計(jì)損失；以及使用所述至少一個(gè)處理器基于所確定的地平面估計(jì)損失來(lái)更新所述深度學(xué)習(xí)網(wǎng)絡(luò)的參數(shù)。

在實(shí)施例中，將所估計(jì)的地平面與所述地面真值圖進(jìn)行比較以確定地平面估計(jì)損失還包括使地平面估計(jì)與所述地面真值圖的損失函數(shù)最小化。

在實(shí)施例中，所述損失函數(shù)是平滑-l回歸損失。

在實(shí)施例中，所述深度學(xué)習(xí)網(wǎng)絡(luò)包括耦接至用于估計(jì)所述地平面的地平面估計(jì)頭即GPE頭的2D卷積主干，所述方法還包括：使用所述至少一個(gè)處理器根據(jù)所述2D卷積主干的多個(gè)步幅獲得特征圖；使用所述至少一個(gè)處理器將各特征圖上采樣為原始特征圖大小；以及使用所述至少一個(gè)處理器和加權(quán)求和來(lái)組合上采樣特征圖以生成用于估計(jì)所述地平面的輸出圖。。