[發(fā)明專利]一種駕駛場(chǎng)景目標(biāo)識(shí)別與可行駛區(qū)域分割集成方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810917335.8
• 申請(qǐng)日: 2018-08-13
• 公開（公告）號(hào): CN109145798B
• 公開（公告）日: 2021-10-22
• 發(fā)明（設(shè)計(jì)）人: 繆其恒;吳長(zhǎng)偉;蘇志杰;孫焱標(biāo);王江明;許煒
• 申請(qǐng)（專利權(quán)）人: 浙江零跑科技股份有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/34;G06N3/04
• 代理公司: 杭州杭誠(chéng)專利事務(wù)所有限公司 33109
• 代理人: 尉偉敏;王金蘭

1.一種駕駛場(chǎng)景目標(biāo)識(shí)別與可行駛區(qū)域分割集成方法，應(yīng)用于車載視覺系統(tǒng)中，所述車載視覺系統(tǒng)包括深度卷積神經(jīng)網(wǎng)絡(luò)模塊，所述深度卷積神經(jīng)網(wǎng)絡(luò)模塊包括共享特征模塊、目標(biāo)檢測(cè)網(wǎng)絡(luò)模塊和場(chǎng)景分割網(wǎng)絡(luò)模塊，其特征在于，所述方法包括：

S1，共享特征模塊獲取輸入的車載視覺系統(tǒng)的參數(shù)配置信息和圖像信息，并通過(guò)卷積步長(zhǎng)對(duì)圖像信息進(jìn)行降采樣后輸出3個(gè)不同尺度的目標(biāo)檢測(cè)特征和場(chǎng)景分割特征；

S2，目標(biāo)檢測(cè)網(wǎng)絡(luò)模塊在目標(biāo)檢測(cè)ROI區(qū)域內(nèi)根據(jù)輸入的3個(gè)不同尺寸的目標(biāo)檢測(cè)特征輸出目標(biāo)類別、目標(biāo)左上角橫坐標(biāo)、目標(biāo)左上角點(diǎn)縱坐標(biāo)、目標(biāo)寬度和目標(biāo)高度；

S3，目標(biāo)檢測(cè)網(wǎng)絡(luò)模塊對(duì)目標(biāo)類別、目標(biāo)左上角橫坐標(biāo)、目標(biāo)左上角點(diǎn)縱坐標(biāo)、目標(biāo)寬度和目標(biāo)高度，進(jìn)行置信度閾值過(guò)濾和極大值抑制后，合并輸出目標(biāo)檢測(cè)列表；

S4，場(chǎng)景分割網(wǎng)絡(luò)模塊在場(chǎng)景分割ROI區(qū)域內(nèi)根據(jù)輸入的3個(gè)不同尺寸的場(chǎng)景分割特征輸出與場(chǎng)景分割特征對(duì)應(yīng)的單通道可通行區(qū)域二進(jìn)制輸出圖；

離線訓(xùn)練的步驟，所述步驟包括：

采集各類道路駕駛場(chǎng)景數(shù)據(jù)，提取時(shí)序離散時(shí)序樣本集；

根據(jù)生成的訓(xùn)練樣本，通過(guò)損失函數(shù)采用隨機(jī)梯度下降的方式分步訓(xùn)練共享卷積模塊的權(quán)重系數(shù)，所述損失函數(shù)為：

Loss1 = α1*L_seg +β1*L_det；

其中，α1，β1為可配置參數(shù)，L_seg表示每個(gè)像素點(diǎn)分類交叉熵之和，L_det表示每個(gè)目標(biāo)的分類交叉熵與位置回歸損失之和；

固化上述共享卷積特征權(quán)重系數(shù)，并按場(chǎng)景分割模塊以及檢測(cè)網(wǎng)絡(luò)模塊各自的損失函數(shù)分別進(jìn)行離線訓(xùn)練；

深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)離線生產(chǎn)的多任務(wù)深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行稀疏化與量化操作，驗(yàn)證壓縮網(wǎng)絡(luò)精度，進(jìn)行道路駕駛場(chǎng)景分析；包括：目標(biāo)檢測(cè)、場(chǎng)景分割以及結(jié)果后處理；

對(duì)圖像采集與預(yù)處理：包括采集參數(shù)配置以及圖像預(yù)處理；

深度卷積神經(jīng)網(wǎng)絡(luò)前向運(yùn)算：在道路目標(biāo)檢測(cè)以及場(chǎng)景分割各自ROI區(qū)域內(nèi)進(jìn)行網(wǎng)絡(luò)前向運(yùn)算，網(wǎng)絡(luò)輸出為限制個(gè)數(shù)的目標(biāo)檢測(cè)列表以及與輸入分辨率對(duì)應(yīng)的2通道圖像像素級(jí)分類結(jié)果；

然后，網(wǎng)絡(luò)輸出后處理；最后，系統(tǒng)輸出：若應(yīng)用層與本方法共硬件平臺(tái)，將上述神經(jīng)網(wǎng)絡(luò)后處理結(jié)果，以共享內(nèi)存的方式與應(yīng)用層交互；若應(yīng)用層與本方法不共用硬件平臺(tái)，將上述神經(jīng)網(wǎng)絡(luò)后處理結(jié)果，以網(wǎng)絡(luò)或CAN的接口輸出至應(yīng)用層所在平臺(tái)。

2.根據(jù)權(quán)利要求1所述的駕駛場(chǎng)景目標(biāo)識(shí)別與可行駛區(qū)域分割集成方法，其特征在于，步驟S4還包括：

目標(biāo)檢測(cè)網(wǎng)絡(luò)模塊對(duì)輸出的檢測(cè)目標(biāo)列表按預(yù)設(shè)重合度閾值進(jìn)行極大值抑制。

3.根據(jù)權(quán)利要求1所述的駕駛場(chǎng)景目標(biāo)識(shí)別與可行駛區(qū)域分割集成方法，其特征在于，步驟S5還包括：

對(duì)場(chǎng)景分割網(wǎng)絡(luò)模塊輸出的二進(jìn)制輸出圖，比較各像素點(diǎn)的softmax輸出，對(duì)每一像素點(diǎn)，取softmax相對(duì)較大的類，生成場(chǎng)景分割mask。

4.根據(jù)權(quán)利要求3所述的駕駛場(chǎng)景目標(biāo)識(shí)別與可行駛區(qū)域分割集成方法，其特征在于，步驟S5還包括：

對(duì)生成的場(chǎng)景分割mask左右邊緣進(jìn)行曲線擬合，生成道路左右邊界解析式。