[發明專利]異質交通流下自動駕駛車載多目標耦合識別與追蹤方法

在審

• 申請號: 202010948875.X
• 申請日: 2020-09-10
• 公開（公告）號: CN112215071A
• 公開（公告）日: 2021-01-12
• 發明（設計）人: 萬千;謝振友;彭國慶;林初染;龍朝黨;陸盛康
• 申請（專利權）人: 華藍設計(集團)有限公司;桂林電子科技大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 成都東恒知盛知識產權代理事務所(特殊普通合伙) 51304
• 代理人: 何健雄;廖祥文

本發明涉及異質交通流下自動駕駛車載多目標耦合識別與追蹤方法，所述的識別與追蹤方法包括車載嵌入式應用程序資源調度器建立步驟，包括對駕駛場景識別模型進行模型剪枝和復原處理，建立一個支撐深度學習模型應用程序動態的資源分配框架；建立深度學習模型運行資源分配調度器，通過資源調度器為并發運行的深度學習模型靈活的分配資源，輸出優化的調度方案。本發明可以降低深度學習模型在移動視覺設備上的內存占用與切換能耗，提供靈活的資源分配與準確率權衡，降低處理延遲，提高自動駕駛汽車的多目標識別的效率，使得汽車自動駕駛時在車路協同的處理方面更為及時和準確，進一步提高了自動駕駛汽車的安全性和在交通領域的應用前景。

技術領域

本發明涉及計算機視覺技術與智慧交通領域，異質交通流下自動駕駛車載多目標耦合識別與追蹤方法。

背景技術

隨著深度學習技術的發展，各種人工智能應用強烈吸引人們的關注。自動駕駛作為未來實現智能化交通和建立交通強國的一個重要領域也越來越引起人們的注意，而安全性一直是自動駕駛技術重點考慮的問題，在車路協同下自動駕駛對于提高自動駕駛安全性是非常重要的。視覺感知是自動駕駛中關鍵技術之一，攝像頭、傳感器從車輛外環境中獲取數據，同時傳送至處理器；處理器中的識別算法可以對人、車、路、交通標志標線等駕駛場景目標進行識別；識別算法基于對環境感知與理解，實現自動駕駛車輛安全行駛于道路上。自動駕駛的應用能夠全面提升駕駛的安全性、舒適性，有極大的市場需求。

雖然深度學習算法在PC端和服務器有很好的計算速率，但是，當前多數的嵌入式移動設備其算力遠不及服務器，以致于很多性能優良的深度學習網絡模型無法在嵌入式移動設備上部署。然而自動駕駛汽車中需要實時視覺識別，沒有云支持，嵌入式移動設備的計算資源有限。當下的做法是壓縮深度學習模型減少資源需求，但是會降低準確率，并且壓縮的模型的資源預算是固定的，即靜態的。然后，一方面，深度學習模型十分看重資源需求，車載場景識別系統在運行時需要的資源是動態變化的，當應用程序并行時達到最大的可用資源時，應用程序相互之間會互相爭奪資源，這會導致流媒體視頻處理幀頻率變低；另一方面，如果移動視覺系統運行時有額外的資源，壓縮模型無法利用額外的資源恢復其被減少的準確率。在混合交通場景下，需要對很多目標進行識別，自動駕駛車輛的攝像頭與傳感器分布與車輛的前后左右以及車頂上，每一個攝像頭傳送的流視頻數據均要同時處理，需要移動視覺系統實時識別及處理，在車載端嵌入式移動設備有限的計算資源下，不能很好滿足西能優良的深度學習網絡模型的資源需求，導致自動駕駛車輛在場景識別上的準確性大大降低，以及處理延遲增加，影響對目標的準確性及不能達到實時性。

發明內容

本發明的目的在于克服現有技術的缺點，提供了一種異質交通流下自動駕駛車載多目標耦合識別與追蹤方法，面向如自動駕駛汽車等支持深度學習模型的嵌入式移動設備，對現有的算法框架進行整合優化，提升深度學習模型在嵌入式移動端資源分配效率，實現自動駕駛車輛能夠混合交通場景下通過攝像頭等設備實時視覺處理，提升對人、車、路等目標的準確率，降低處理延遲，對提升駕駛安全，提高交通系統效率有著重要的意義。

本發明的目的通過以下技術方案來實現：異質交通流下自動駕駛車載多目標耦合識別與追蹤方法，所述識別與追蹤方法包括車載嵌入式應用程序資源調度器建立步驟，其包括：

對駕駛場景識別模型進行模型剪枝和復原處理，建立一個支撐深度學習模型應用程序動態的資源分配框架；

建立深度學習模型運行資源分配調度器，通過資源調度器為并發運行的深度學習模型靈活的分配資源，輸出優化的調度方案。

進一步地，所述識別與追蹤方法還包括在建立所述車載嵌入式應用程序資源調度器之前建立并訓練好駕駛場景識別模型的步驟；所述建立并訓練好駕駛場景識別模型的步驟包括：建立駕駛場景樣本數據集和訓練駕駛場景中多目標的識別跟蹤模型。

進一步地，所述對駕駛場景識別模型進行模型剪枝和復原處理，建立一個支撐深度學習模型應用程序動態的資源分配框架包括：