[發(fā)明專(zhuān)利]基于輕量化邊緣計(jì)算的車(chē)道線識(shí)別方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202110299491.4
• 申請(qǐng)日: 2021-03-22
• 公開(kāi)（公告）號(hào): CN112686233B
• 公開(kāi)（公告）日: 2021-06-18
• 發(fā)明（設(shè)計(jì)）人: 步宏飛;周東開(kāi);楊曉東
• 申請(qǐng)（專(zhuān)利權(quán)）人: 廣州賽特智能科技有限公司
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G06N3/04;G06N3/08
• 代理公司: 廣州科捷知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44560
• 代理人: 鄧卓峰

本發(fā)明公開(kāi)了基于輕量化邊緣計(jì)算的車(chē)道線識(shí)別方法及裝置，通過(guò)根據(jù)上一次關(guān)鍵幀圖像進(jìn)行降采樣處理得到若干不同采樣倍數(shù)的第一特征圖，并根據(jù)第一特征圖形成多個(gè)第一特征圖層，根據(jù)當(dāng)前非關(guān)鍵幀圖像進(jìn)行降采樣處理得到若干不同采樣倍數(shù)的第二特征圖和第二特征圖層，根據(jù)第二特征圖層計(jì)算并輸出當(dāng)前的全局特征圖像對(duì)應(yīng)的網(wǎng)格分類(lèi)圖，基于所述網(wǎng)格分類(lèi)圖預(yù)測(cè)車(chē)道線；通過(guò)對(duì)全圖特征圖像進(jìn)行降采樣處理得到不同尺寸的特征圖，利用上一次采集的關(guān)鍵幀圖像中處理得到的高分辨率的第一特征圖層轉(zhuǎn)化為第二特征圖層，大大節(jié)省了計(jì)算時(shí)間和成本，提高運(yùn)算效率，達(dá)到實(shí)時(shí)性能，并且保留了高分辨率細(xì)節(jié)，提高運(yùn)動(dòng)中的車(chē)道線識(shí)別準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，尤其涉及一種基于輕量化邊緣計(jì)算的車(chē)道線識(shí)別方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法是機(jī)器學(xué)習(xí)的技術(shù)和研究領(lǐng)域之一，是一種以人工神經(jīng)網(wǎng)絡(luò)為架構(gòu)，對(duì)數(shù)據(jù)進(jìn)行表征學(xué)習(xí)的算法。隨著大數(shù)據(jù)時(shí)代的到來(lái)，含更多隱含層的深度卷積神經(jīng)網(wǎng)絡(luò)具有更復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，與傳統(tǒng)機(jī)器學(xué)習(xí)方法相比具有更強(qiáng)大的特征學(xué)習(xí)和特征表達(dá)能力。使用深度學(xué)習(xí)算法訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)模型自提出以來(lái)在計(jì)算機(jī)視覺(jué)領(lǐng)域的多個(gè)大規(guī)模識(shí)別任務(wù)上取得了令人矚目的成績(jī)。為了不斷提高卷積神經(jīng)網(wǎng)絡(luò)的表征能力，提高圖像分類(lèi)、目標(biāo)檢測(cè)、圖像分割等任務(wù)的性能，大量?jī)?yōu)秀的網(wǎng)絡(luò)結(jié)構(gòu)被各界學(xué)者提出。其中，經(jīng)典的深度卷積網(wǎng)絡(luò)往往擁有相當(dāng)深的層級(jí)結(jié)構(gòu)，在帶來(lái)性能提升同時(shí)，引入了大量的參數(shù)，導(dǎo)致計(jì)算量急速上漲，模型存儲(chǔ)問(wèn)題和運(yùn)算速度問(wèn)題越來(lái)越突出，難以達(dá)到實(shí)際應(yīng)用標(biāo)準(zhǔn)。

車(chē)道線檢測(cè)是計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)基礎(chǔ)問(wèn)題，有著悠久的研究歷史和廣泛的應(yīng)用，例如：高級(jí)輔助駕駛系統(tǒng)、無(wú)人駕駛系統(tǒng)等。對(duì)于車(chē)道線檢測(cè)，目前主流的方法有兩種：傳統(tǒng)的圖像處理方法和深度學(xué)習(xí)的圖像分割方法。

傳統(tǒng)的圖像處理方法通常是基于視覺(jué)信息來(lái)解決車(chē)道檢測(cè)問(wèn)題，這些方法的主要思想是通過(guò)處理圖像利用可見(jiàn)的三通道視覺(jué)信息，如HSI顏色模型和邊緣檢測(cè)算法。當(dāng)視覺(jué)信息不夠強(qiáng)（如遮擋、強(qiáng)光、弱光）時(shí)，跟蹤是另一種流行的后處理解決方案，后處理方法除跟蹤外，有些還采用了馬爾可夫和條件隨機(jī)場(chǎng)。隨著機(jī)器學(xué)習(xí)的發(fā)展，采用模板匹配、支持向量機(jī)等算法也隨之興起，SAD方法通過(guò)自蒸餾來(lái)解決車(chē)道線檢測(cè)問(wèn)題，SAD基于分割的密集預(yù)測(cè)特性，該方法計(jì)算量大，計(jì)算效率低下達(dá)不到實(shí)時(shí)檢測(cè)效果。

深度學(xué)習(xí)的方法一般把車(chē)道檢測(cè)問(wèn)題轉(zhuǎn)化為語(yǔ)義分割任務(wù)，語(yǔ)義分割是對(duì)圖像中的每個(gè)像素點(diǎn)都逐一進(jìn)行分類(lèi)，計(jì)算復(fù)雜度較高。例如，VPGNet提出了一個(gè)由消失點(diǎn)引導(dǎo)的多任務(wù)網(wǎng)絡(luò)用于車(chē)道線的標(biāo)記和檢測(cè)。SCNN在分割模塊中使用了特殊的卷積運(yùn)算來(lái)更有效地利用視覺(jué)信息，該方法通過(guò)處理切片特征并將它們逐一相加，從而聚合來(lái)自不同維度的信息。除了主流的分割算法外，還有序列預(yù)測(cè)、聚類(lèi)等算法。LSTM采用長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)處理車(chē)道的長(zhǎng)線結(jié)構(gòu)；同樣的原理，F(xiàn)ast-Draw方法預(yù)測(cè)每個(gè)車(chē)道點(diǎn)上車(chē)道的方向，并依次繪制。車(chē)道檢測(cè)問(wèn)題也可以視為二值聚類(lèi)問(wèn)題，且可以利用三維信息，一定程度上解決路面不平整問(wèn)題。深度學(xué)習(xí)的分割方法自然比傳統(tǒng)的圖像處理方法具有更強(qiáng)的語(yǔ)義表達(dá)能力，但由于密集的多通道海量像素級(jí)計(jì)算，這種消息傳遞需要更多的計(jì)算成本，在計(jì)算力有限的車(chē)上部署達(dá)不到實(shí)際的檢測(cè)效果；此外，車(chē)道線表示為分割的二值特征而不是連續(xù)的直線或者曲線，不能很好地利用車(chē)道線原本具有的平滑連貫性特質(zhì)，往往檢測(cè)出來(lái)的車(chē)道線會(huì)有突變的現(xiàn)象。

另外，隨著自動(dòng)駕駛和其他應(yīng)用的落地，大規(guī)模的實(shí)時(shí)視頻處理和輕量化的邊緣計(jì)算對(duì)模型的處理速度提出了更高的要求。從實(shí)時(shí)性運(yùn)算的角度來(lái)看，從靜態(tài)圖像處理到視頻處理的轉(zhuǎn)變意義重大，因?yàn)閷?shí)時(shí)方面對(duì)于需要低延遲和實(shí)時(shí)響應(yīng)的視頻應(yīng)用比單幀圖像應(yīng)用更重要，而現(xiàn)有方法往往缺乏復(fù)用視頻序列中關(guān)鍵幀的特征，在有限的邊緣計(jì)算設(shè)備資源上的運(yùn)算速度往往有較大的瓶頸。

發(fā)明內(nèi)容

為了克服現(xiàn)有技術(shù)的不足，本發(fā)明的目的在于提供一種基于輕量化邊緣計(jì)算的車(chē)道線識(shí)別方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)，其能解決現(xiàn)有技術(shù)運(yùn)算速度慢、效率低的問(wèn)題。

第一方面，本發(fā)明提供一種基于輕量化邊緣計(jì)算的車(chē)道線識(shí)別方法，包括：