[發(fā)明專利]用于自主駕駛機(jī)器的基于回歸的線檢測(cè)

在審

• 申請(qǐng)?zhí)枺?/td>: 201980061007.5
• 申請(qǐng)日: 2019-07-17
• 公開（公告）號(hào): CN113168505A
• 公開（公告）日: 2021-07-23
• 發(fā)明（設(shè)計(jì)）人: M·帕克;林曉琳;H-J·徐;D·尼斯特;N·茨維耶蒂奇
• 申請(qǐng)（專利權(quán)）人: 輝達(dá)公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/46;G06K9/62
• 代理公司: 北京市磐華律師事務(wù)所 11336
• 代理人: 高偉

在不同示例中，公開了保留來自機(jī)器學(xué)習(xí)模型的輸入分辨率的豐富空間信息以在輸入圖像中的線上回歸的系統(tǒng)和方法。機(jī)器學(xué)習(xí)模型可以被訓(xùn)練為在部署中預(yù)測(cè)輸入分辨率的輸入圖像的每個(gè)像素到被確定為對(duì)應(yīng)于輸入圖像中的線的線像素的距離。機(jī)器學(xué)習(xí)模型可以進(jìn)一步被訓(xùn)練為預(yù)測(cè)線的角度和標(biāo)記類。可以使用嵌入算法來訓(xùn)練機(jī)器學(xué)習(xí)模型以預(yù)測(cè)線像素的集群，每個(gè)線像素對(duì)應(yīng)于輸入圖像中的相應(yīng)線。在部署中，在各種自主機(jī)器應(yīng)用中，機(jī)器學(xué)習(xí)模型的預(yù)測(cè)可以被用作理解周圍環(huán)境(例如用于更新世界模型)的輔助。

背景技術(shù)

準(zhǔn)確和精確地檢測(cè)環(huán)境中的車道線、車道邊緣、道路邊界、文本、和/或其他特征的能力對(duì)于在所有自主級(jí)別的自主機(jī)器應(yīng)用(例如，半自主車輛到全自主車輛)是必要的。由于道路標(biāo)記質(zhì)量的變化、車道和道路標(biāo)記慣例的地理差異，以及由于磨損和撕裂引起的道路標(biāo)記障礙、退化和/或遮擋，天氣條件、照明條件、臨時(shí)標(biāo)記(例如，由于建造或救災(zāi))等，在行駛期間在環(huán)境中可能遇到的車道標(biāo)志的多樣性非常高。

用于車道或線檢測(cè)的一些常規(guī)方法已經(jīng)使用深度神經(jīng)網(wǎng)絡(luò)(DNN)處理，其中，駕駛表面的高分辨率圖像以及車道和線的相關(guān)注釋被用于訓(xùn)練DNN(例如，卷積神經(jīng)網(wǎng)絡(luò)(CNN))以識(shí)別車道線。這些常規(guī)方法已經(jīng)訓(xùn)練DNN為通過將圖像的每個(gè)像素分類為或者不分類為車道線的部分來生成顯示圖像中的車道線的一般位置的分割掩碼。然而，由于在通過卷積運(yùn)算進(jìn)行DNN處理期間DNN執(zhí)行的增量下采樣，這些常規(guī)方法在DNN的輸出處遭受分辨率的損失。例如，作為下采樣的結(jié)果，對(duì)應(yīng)于車道線的DNN的輸入分辨率的各個(gè)像素可變成DNN的輸出分辨率的模糊像素斑點(diǎn)。這種用于推理車道線或邊緣的關(guān)鍵空間信息的損失降低了車道或線檢測(cè)的精度和準(zhǔn)確度。

此外，使用DNN來預(yù)測(cè)車道或線類別的常規(guī)系統(tǒng)需要針對(duì)每個(gè)類別的單獨(dú)的輸出通道(例如，單獨(dú)的預(yù)測(cè))。照此，這些常規(guī)系統(tǒng)的DNN需要針對(duì)每個(gè)輸出通道的每個(gè)像素單獨(dú)處理并生成預(yù)測(cè)。使用這種方法，增加了系統(tǒng)的運(yùn)行時(shí)間，從而使用于車道或線預(yù)測(cè)的實(shí)時(shí)部署成為需要額外的計(jì)算資源、能量和處理功率的繁重的任務(wù)。這些常規(guī)系統(tǒng)還采用重要的后處理步驟，所述后處理步驟需要使用由DNN輸出的分割掩碼(以空間信息已經(jīng)損失的較低分辨率)來重構(gòu)車道或線。然而，該方法不僅增加了運(yùn)行時(shí)的處理時(shí)間，還導(dǎo)致系統(tǒng)對(duì)車道和線的最終預(yù)測(cè)較不準(zhǔn)確。最終，這些常規(guī)系統(tǒng)的DNN的預(yù)測(cè)影響自主車輛(實(shí)時(shí))獲得對(duì)駕駛表面的準(zhǔn)確和精確理解的能力，同時(shí)需要大量處理、能量和計(jì)算資源。

發(fā)明內(nèi)容

本公開的實(shí)施例涉及用于自主駕駛機(jī)器的基于回歸的線檢測(cè)。公開了通過提供與輸入圖像的空間分辨率或維度相比大小減小的空間分辨率或維度的壓縮信息，來通過深度學(xué)習(xí)模型保留豐富的空間信息的系統(tǒng)和方法。照此，本公開的實(shí)施例涉及用于自主駕駛機(jī)器的線檢測(cè)，其包括但不限于車道線、道路邊界、道路上的文本、或標(biāo)志(例如，桿、街道標(biāo)志等)。

與常規(guī)系統(tǒng)(如以上所描述的那些系統(tǒng))相比，本公開的系統(tǒng)可以訓(xùn)練機(jī)器學(xué)習(xí)模型，來針對(duì)輸入分辨率的輸入圖像的每個(gè)像素預(yù)測(cè)與被確定為與輸入圖像中的線(或其他標(biāo)簽類)相對(duì)應(yīng)的線像素(或與任何其他標(biāo)簽類相對(duì)應(yīng)的像素)的距離(一維(1D)或二維(2D))。因此，即使機(jī)器學(xué)習(xí)模型的輸出分辨率可小于輸入分辨率(例如，小兩倍、小四倍等)，距離也可以用于保留輸入分辨率的空間信息，以便精確地重新創(chuàng)建輸入分辨率的線。照此，通過使用用于處理的較高輸入分辨率生成較低輸出分辨率的預(yù)測(cè)，系統(tǒng)的運(yùn)行時(shí)間減少，而空間信息的保留維持預(yù)測(cè)的準(zhǔn)確性。

除了線像素的位置之外，可以由機(jī)器學(xué)習(xí)模型計(jì)算在每個(gè)線像素的位置處的線的角度，以幫助系統(tǒng)理解線的整體幾何形狀——從而增加由系統(tǒng)使用的線重新創(chuàng)建的準(zhǔn)確度。為了進(jìn)一步減少用于系統(tǒng)的實(shí)時(shí)操作的運(yùn)行時(shí)間，一個(gè)或更多個(gè)機(jī)器學(xué)習(xí)模型可以被訓(xùn)練為使用位編碼過程來預(yù)測(cè)標(biāo)簽類，從而移除需要針對(duì)每個(gè)輸出通道(例如，針對(duì)每個(gè)類)的每個(gè)像素進(jìn)行預(yù)測(cè)的常規(guī)系統(tǒng)的約束。與常規(guī)系統(tǒng)進(jìn)一步對(duì)比——并且為了減少系統(tǒng)的總體后處理負(fù)擔(dān)——機(jī)器學(xué)習(xí)模型可以被訓(xùn)練成使用嵌入算法來預(yù)測(cè)線像素的集群，其中，每個(gè)集群對(duì)應(yīng)于單獨(dú)的線。

附圖說明

下面參考附圖詳細(xì)描述用于自主駕駛機(jī)器的基于回歸的線檢測(cè)的本系統(tǒng)和方法，其中：