[發(fā)明專利]異質(zhì)交通流下自動駕駛車載多目標(biāo)耦合識別與追蹤方法

在審

• 申請?zhí)枺?/td>: 202010948875.X
• 申請日: 2020-09-10
• 公開（公告）號: CN112215071A
• 公開（公告）日: 2021-01-12
• 發(fā)明（設(shè)計(jì)）人: 萬千;謝振友;彭國慶;林初染;龍朝黨;陸盛康
• 申請（專利權(quán)）人: 華藍(lán)設(shè)計(jì)(集團(tuán))有限公司;桂林電子科技大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 成都東恒知盛知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 51304
• 代理人: 何健雄;廖祥文

1.異質(zhì)交通流下自動駕駛車載多目標(biāo)耦合識別與追蹤方法，其特征在于：所述識別與追蹤方法包括車載嵌入式應(yīng)用程序資源調(diào)度器建立步驟，其包括：

對駕駛場景識別模型進(jìn)行模型剪枝和復(fù)原處理，建立一個支撐深度學(xué)習(xí)模型應(yīng)用程序動態(tài)的資源分配框架；

建立深度學(xué)習(xí)模型運(yùn)行資源分配調(diào)度器，通過資源調(diào)度器為并發(fā)運(yùn)行的深度學(xué)習(xí)模型靈活的分配資源，輸出優(yōu)化的調(diào)度方案。

2.根據(jù)權(quán)利要求1所述的異質(zhì)交通流下自動駕駛車載多目標(biāo)耦合識別與追蹤方法，其特征在于：所述識別與追蹤方法還包括在建立所述車載嵌入式應(yīng)用程序資源調(diào)度器之前建立并訓(xùn)練好駕駛場景識別模型的步驟；所述建立并訓(xùn)練好駕駛場景識別模型的步驟包括：建立駕駛場景樣本數(shù)據(jù)集和訓(xùn)練駕駛場景中多目標(biāo)的識別跟蹤模型。

3.根據(jù)權(quán)利要求1所述的異質(zhì)交通流下自動駕駛車載多目標(biāo)耦合識別與追蹤方法，其特征在于：所述對駕駛場景識別模型進(jìn)行模型剪枝和復(fù)原處理，建立一個支撐深度學(xué)習(xí)模型應(yīng)用程序動態(tài)的資源分配框架包括：

對深度學(xué)習(xí)模型的神經(jīng)元進(jìn)行修剪，壓縮深度學(xué)習(xí)模型；

對深度學(xué)習(xí)模型進(jìn)行復(fù)原，生成多容量模型；

對給定的車載交通場景識別系統(tǒng)的模型進(jìn)行分析，根據(jù)每個交通場景識別模型的需求選擇最優(yōu)的資源精度權(quán)衡，優(yōu)化推斷準(zhǔn)確率、內(nèi)存占用以及每個派生模型的處理延遲。

4.根據(jù)權(quán)利要求3所述的異質(zhì)交通流下自動駕駛車載多目標(biāo)耦合識別與追蹤方法，其特征在于：所述對深度學(xué)習(xí)模型的神經(jīng)元進(jìn)行修剪，壓縮深度學(xué)習(xí)模型包括：

設(shè)定卷積層每一層的矩陣為|M_ij|，Mij表示每個卷積核中的具體數(shù)值，對所有卷積核的權(quán)重值的絕對值求總和，即mi為卷積核的channel數(shù)；

根據(jù)重要性對S_i進(jìn)行排序，設(shè)置最小閾值并對最小閾值以下的S_i進(jìn)行剪枝，以及刪除本層相對的下一層的卷積核的特征圖；

對剪枝后的卷積層與之對應(yīng)的下一層創(chuàng)建新矩陣及生成新權(quán)重，整合模型結(jié)構(gòu)完成剪枝，并對剪枝后的模型再訓(xùn)練，完成模型壓縮，最小的修剪模型為種子模型。

5.根據(jù)權(quán)利要求3所述的異質(zhì)交通流下自動駕駛車載多目標(biāo)耦合識別與追蹤方法，其特征在于：所述對深度學(xué)習(xí)模型進(jìn)行復(fù)原，生成多容量模型包括：

使用種子模型進(jìn)行迭代對濾波器參數(shù)進(jìn)行模型固化，保存現(xiàn)有模型參數(shù)數(shù)據(jù)；

根據(jù)模型壓縮時(shí)的神經(jīng)元剪枝路徑記錄基于反向剪枝方向，應(yīng)用濾波器增長將修剪的濾波器進(jìn)行增補(bǔ)以增加模型容量，再通過訓(xùn)練增加模型準(zhǔn)確率；

通過重復(fù)迭代前一個模型不斷生成新的派生模型，最終生成包含所有之前模型參數(shù)容量的派生模型，得到多容量模型。

6.根據(jù)權(quán)利要求1所述的異質(zhì)交通流下自動駕駛車載多目標(biāo)耦合識別與追蹤方法，其特征在于：所述建立深度學(xué)習(xí)模型運(yùn)行資源分配調(diào)度器，通過資源調(diào)度器為并發(fā)運(yùn)行的深度學(xué)習(xí)模型靈活的分配資源，輸出優(yōu)化的調(diào)度方案包括：

通過在車載駕駛場景識別系統(tǒng)中設(shè)置一個成本函數(shù)來分析所有并發(fā)運(yùn)行的應(yīng)用程序，為每個應(yīng)用程序選擇最優(yōu)的派生模型；

對處于并行的駕駛場景深度學(xué)習(xí)模型進(jìn)行調(diào)度方案的設(shè)計(jì)，對并發(fā)運(yùn)行的深度學(xué)習(xí)模型的應(yīng)用程序的總體成本進(jìn)行最小化，對資源感知調(diào)度器進(jìn)行優(yōu)化約束及合理分配并行應(yīng)用程序的運(yùn)行資源，以平衡運(yùn)行性能。

7.根據(jù)權(quán)利要求2所述的異質(zhì)交通流下自動駕駛車載多目標(biāo)耦合識別與追蹤方法，其特征在于：所述訓(xùn)練駕駛場景中多目標(biāo)的識別跟蹤模型包括：

使用Dartnet深度學(xué)習(xí)框架對基于YOLOv3算法的駕駛場景多目標(biāo)識別模型進(jìn)行訓(xùn)練，導(dǎo)入訓(xùn)練集與驗(yàn)證集；

設(shè)置訓(xùn)練參數(shù)，學(xué)習(xí)權(quán)重參數(shù)設(shè)置為0.0005，動量設(shè)置為0.9，批量大小設(shè)置為64，學(xué)習(xí)率初始為0.001，并依次降低為0.0001與0.00001，相對應(yīng)每個階段的學(xué)習(xí)率，網(wǎng)絡(luò)分別迭代25000，20000和15000次，共進(jìn)行60000次迭代；

損失函數(shù)采用CIOU損失，當(dāng)損失函數(shù)下降梯度趨于平緩，模型訓(xùn)練結(jié)束，保存最優(yōu)訓(xùn)練結(jié)果的模型參數(shù)；

把Deepsort算法模型導(dǎo)入上述訓(xùn)練的模型，修改classes為模型識別類別的個數(shù)16，設(shè)置filters為3×(5+len(classes))；

對YOLOv3結(jié)合Deepsort的模型進(jìn)行訓(xùn)練，結(jié)束后保存模型。