[發(fā)明專利]基于視覺技術的前方障礙物實時檢測方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010310169.2
• 申請日: 2020-04-17
• 公開（公告）號: CN113283273A
• 公開（公告）日: 2021-08-20
• 發(fā)明（設計）人: 曲偉強;王志偉
• 申請（專利權）人: 上海銳明軌交設備有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/62;G06T7/70;B61L23/04
• 代理公司: 上海弼興律師事務所 31283
• 代理人: 薛琦;張冉

1.一種基于視覺技術的前方障礙物實時檢測方法，其特征在于，所述前方障礙物實時檢測方法包括：

獲取目標圖片；

通過目標檢測模型識別所述目標圖片中的前方障礙物，以得到所述前方障礙物的類別及坐標；

通過語義分割模型識別所述目標圖片中的目標區(qū)域，以得到所述目標區(qū)域的圖形矩陣；

判斷所述前方障礙物是否屬于關鍵物體，若是，則判斷所述關鍵物體是否位于所述圖形矩陣內(nèi)，若位于，則產(chǎn)生報警信號。

2.如權利要求1所述的前方障礙物實時檢測方法，其特征在于，所述目標檢測模型及所述語義分割模型部署在NVIDIA JETSON TX2上；

所述NVIDIA JETSON TX2包括Jetson TX2模塊及電源模塊；

所述Jetson TX2模塊用于運行所述目標檢測模型及所述語義分割模型；

所述電源模塊用于提供電源。

3.如權利要求2所述的前方障礙物實時檢測方法，其特征在于，所述NVIDIA JETSONTX2還包括有以太網(wǎng)接口，所述以太網(wǎng)接口用于連接網(wǎng)絡攝像頭；

所述前方障礙物實時檢測方法還包括有：

通過所述網(wǎng)絡攝像頭采集前方視頻，所述前方視頻包括實時視頻流及離線視頻；

將所述前方視頻發(fā)送至Jetson TX2模塊，所述Jetson TX2模塊對所述前方視頻進行解碼以得到所述目標圖片；

所述NVIDIA JETSON TX2還包括Micro USB模塊及USB Type A模塊，所述Micro USB模塊用于連接外接設備以部署所述NVIDIA JETSON TX2，所述USB Type A模塊用于連接外接設備以調(diào)試目標檢測算法及語義分割算法。

4.如權利要求3所述的前方障礙物實時檢測方法，其特征在于，所述以太網(wǎng)接口連接有兩個網(wǎng)絡攝像頭，所述兩個網(wǎng)絡攝像頭分別用于采集前方不同距離范圍的視頻。

5.如權利要求1所述的前方障礙物實時檢測方法，其特征在于，

所述目標檢測模型通過下述步驟獲得：

預設第一損失函數(shù)，所述第一損失函數(shù)包括第一閾值；

將不同場景下不同種類的障礙物圖片作為訓練集并且將所述訓練集輸入至目標檢測算法；

計算所述目標檢測算法的運算結果與真實的所述障礙物的第一相符程度；

判斷所述第一相符程度是否達到所述第一閾值，若是，則得到所述目標檢測模型，若否，則繼續(xù)將不同場景下不同種類的障礙物圖片作為訓練集并且將所述訓練集輸入至目標檢測算法，或，調(diào)整所述損失函數(shù)的參數(shù)后繼續(xù)將不同場景下不同種類的障礙物圖片作為訓練集并且將所述訓練集輸入至目標檢測算法；

所述語義分割模型通過下述步驟獲得：

預設第二損失函數(shù)，所述第二損失函數(shù)包括第二閾值；

將不同場景下不同的區(qū)域圖片作為訓練集并且將所述訓練集輸入至語義分割算法；

計算所述語義分割算法的運算結果與真實區(qū)域的第二相符程度；

判斷所述第二相符程度是否達到所述第二閾值，若是，則得到所述語義分割模型，若否，則繼續(xù)將不同場景下不同的區(qū)域圖片作為訓練集并且將所述訓練集輸入至語義分割算法，或，調(diào)整所述損失函數(shù)的參數(shù)后繼續(xù)將不同場景下不同的區(qū)域圖片作為訓練集并且將所述訓練集輸入至語義分割算法；

和/或，

所述前方障礙物實時檢測方法還包括：

將所述報警信號傳送至RCU雷達系統(tǒng)以進行報警處理；

和/或，

所述前方障礙物實時檢測方法還包括：

將所述前方障礙物的類別及坐標傳輸至TLCD主機；

通過TLCD主機顯示所述前方障礙物的信息，所述信息包括所述前方障礙物的位置及類別；

和/或，

通過目標檢測模型識別所述目標圖片中的前方障礙物的步驟中，

通過采用C++接口調(diào)用所述目標檢測模型；

和/或，

通過目標檢測模型識別所述目標圖片中的前方障礙物的步驟包括：

通過去除卡爾曼濾波跟蹤函數(shù)的目標檢測模型識別所述目標圖片中的前方障礙物；

和/或，

獲取目標圖片的步驟中，所述目標圖片為當前視頻幀；

通過語義分割模型識別所述目標圖片中的目標區(qū)域的步驟中，所述目標區(qū)域為鐵軌。