[發(fā)明專利]一種行車區(qū)域與車道線識別方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202210083455.9
• 申請日: 2022-01-25
• 公開（公告）號: CN114120289B
• 公開（公告）日: 2022-05-03
• 發(fā)明（設(shè)計）人: 王金橋;陳盈盈;朱炳科;李曉東
• 申請（專利權(quán)）人: 中科視語（北京）科技有限公司
• 主分類號: G06V20/58
• 分類號: G06V20/58;G06V10/44;G06V10/80;G06V10/82;G06K9/62;G06N3/04
• 代理公司: 北京路浩知識產(chǎn)權(quán)代理有限公司 11002
• 代理人: 王慶龍

1.一種行車區(qū)域與車道線識別方法，其特征在于，包括：

獲取待識別的結(jié)構(gòu)化道路圖像；

將所述待識別的結(jié)構(gòu)化道路圖像輸入到道路識別模型中，得到由所述道路識別模型中的基礎(chǔ)網(wǎng)絡(luò)輸出的全局語義特征；

通過所述道路識別模型的第一分支網(wǎng)絡(luò)，對所述全局語義特征中的行車區(qū)域進行提取，得到行車區(qū)域語義特征；通過所述道路識別模型的第二分支網(wǎng)絡(luò)，對所述全局語義特征中的車道線進行提取，得到車道線語義特征；

通過所述道路識別模型中的預(yù)測層對融合特征進行分類預(yù)測，得到所述待識別的結(jié)構(gòu)化道路圖像中的行車區(qū)域與車道線，所述融合特征是由所述全局語義特征、所述行車區(qū)域語義特征和所述車道線語義特征進行融合得到的；

其中，所述基礎(chǔ)網(wǎng)絡(luò)、所述第一分支網(wǎng)絡(luò)和所述第二分支網(wǎng)絡(luò)，是由卷積神經(jīng)網(wǎng)絡(luò)構(gòu)建得到的；

所述道路識別模型通過以下步驟訓(xùn)練得到：

通過標(biāo)記有行車區(qū)域標(biāo)簽和車道線標(biāo)簽的結(jié)構(gòu)化道路樣本圖像，構(gòu)建得到訓(xùn)練樣本集；

將所述訓(xùn)練樣本集中的樣本圖像輸入到第一卷積神經(jīng)網(wǎng)絡(luò)中進行訓(xùn)練，得到基礎(chǔ)網(wǎng)絡(luò)和由所述基礎(chǔ)網(wǎng)絡(luò)輸出的全局語義樣本特征；

將所述全局語義樣本特征輸入到第二卷積神經(jīng)網(wǎng)絡(luò)中，以進行行車區(qū)域像素特征的提取訓(xùn)練，得到第一分支網(wǎng)絡(luò)和由所述第一分支網(wǎng)絡(luò)輸出的行車區(qū)域語義樣本特征；

將所述全局語義樣本特征輸入到第三卷積神經(jīng)網(wǎng)絡(luò)中進行訓(xùn)練，以進行車道線像素特征的提取訓(xùn)練，得到第二分支網(wǎng)絡(luò)和由所述第二分支網(wǎng)絡(luò)輸出的車道線語義樣本特征；

基于所述行車區(qū)域語義樣本特征和所述車道線語義樣本特征，對所述第一分支網(wǎng)絡(luò)和所述第二分支網(wǎng)絡(luò)進行交互訓(xùn)練，得到訓(xùn)練好的第一分支網(wǎng)絡(luò)和訓(xùn)練好的第二分支網(wǎng)絡(luò)，并輸出局部語義增強樣本特征；

通過所述全局語義樣本特征和所述局部語義增強樣本特征，對預(yù)訓(xùn)練的預(yù)測層進行微調(diào)，得到訓(xùn)練好的預(yù)測層；

根據(jù)所述基礎(chǔ)網(wǎng)絡(luò)、所述訓(xùn)練好的第一分支網(wǎng)絡(luò)、所述訓(xùn)練好的第二分支網(wǎng)絡(luò)和所述訓(xùn)練好的預(yù)測層，構(gòu)建得到道路識別模型；

所述基于所述行車區(qū)域語義樣本特征和所述車道線語義樣本特征，對所述第一分支網(wǎng)絡(luò)和所述第二分支網(wǎng)絡(luò)進行交互訓(xùn)練，得到訓(xùn)練好的第一分支網(wǎng)絡(luò)和訓(xùn)練好的第二分支網(wǎng)絡(luò)，并輸出局部語義增強樣本特征，包括：

基于所述車道線語義樣本特征，對所述第一分支網(wǎng)絡(luò)在樣本圖像中相同識別區(qū)域?qū)?yīng)的行車區(qū)域語義樣本特征進行語義特征對齊處理，得到第一局部語義增強樣本特征；

基于所述行車區(qū)域語義樣本特征，對所述第二分支網(wǎng)絡(luò)在樣本圖像中相同識別區(qū)域?qū)?yīng)的車道線語義樣本特征進行語義特征對齊處理，得到第二局部語義增強樣本特征；

所述通過所述全局語義樣本特征和所述局部語義增強樣本特征，對預(yù)訓(xùn)練的預(yù)測層進行微調(diào)，得到訓(xùn)練好的預(yù)測層，包括：

通過所述全局語義樣本特征、所述第一局部語義增強樣本特征和所述第二局部語義增強樣本特征，對預(yù)訓(xùn)練的預(yù)測層進行微調(diào)，得到訓(xùn)練好的預(yù)測層。

2.根據(jù)權(quán)利要求1所述的行車區(qū)域與車道線識別方法，其特征在于，在所述通過所述道路識別模型中的預(yù)測層對融合特征進行分類預(yù)測，得到所述待識別的結(jié)構(gòu)化道路圖像中的行車區(qū)域與車道線之后，所述方法還包括：

對所述道路識別模型輸出的行車區(qū)域與車道線的預(yù)測結(jié)果進行邊緣提取處理和均值校正處理，得到處理后的預(yù)測結(jié)果。

3.根據(jù)權(quán)利要求2所述的行車區(qū)域與車道線識別方法，其特征在于，所述邊緣提取處理的算法為Canny邊緣檢測算法。

4.根據(jù)權(quán)利要求1所述的行車區(qū)域與車道線識別方法，其特征在于，所述第一卷積神經(jīng)網(wǎng)絡(luò)為HRNetV2模型。

5.根據(jù)權(quán)利要求1所述的行車區(qū)域與車道線識別方法，其特征在于，在所述通過所述全局語義樣本特征、所述第一局部語義增強樣本特征和所述第二局部語義增強樣本特征，對預(yù)訓(xùn)練的預(yù)測層進行微調(diào)，得到訓(xùn)練好的預(yù)測層之前，所述方法還包括：

將所述全局語義樣本特征、所述第一局部語義增強樣本特征和所述第二局部語義增強樣本特征進行拼接，得到拼接后的樣本特征；

將所述拼接后的樣本特征，輸入到一層1×1卷積中，得到樣本融合特征，以通過所述樣本融合特征，對預(yù)訓(xùn)練的預(yù)測層進行微調(diào)，得到訓(xùn)練好的預(yù)測層。