[發明專利]一種路口標志牌提取及關聯的方法及裝置

有效

• 申請號: 202011460610.1
• 申請日: 2020-12-12
• 公開（公告）號: CN112507887B
• 公開（公告）日: 2022-12-13
• 發明（設計）人: 何豪杰;王暢;萬齊斌;劉奮
• 申請（專利權）人: 武漢中海庭數據技術有限公司
• 主分類號: G06V20/64
• 分類號: G06V20/64;G06V10/80;G06V20/56
• 代理公司: 武漢藍寶石專利代理事務所(特殊普通合伙) 42242
• 代理人: 高蘭

1.一種路口標志牌提取及關聯的方法，其特征在于，包括：

獲取道路激光點云數據及對應的連續幀圖片數據；

通過無錨點框目標檢測網絡對連續幀圖片進行路口目標檢測，標記檢測到目標時對應的軌跡點位置，根據軌跡點位置切割點云得到固定大小的路口激光點云塊；

其中，將resnet作為骨架網絡，通過空洞卷積和空間金字塔池化提取不同尺度目標特征；

融合多尺度特征構建熱力圖，并基于熱力圖中關鍵點預測目標框中心點，回歸目標框尺寸；

基于路口圖片及路口激光點云的融合特征進行三維目標檢測，并根據相機參數和三維目標信息獲取圖像中目標的二維包圍框，提取圖像中路口標志牌；

識別路口標志牌中內容信息，根據路口標志牌中方向信息對標志牌進行分類；

獲取標記的軌跡點附近的道路信息，將路口標志牌及標志牌內容信息與對應的道路關聯。

2.根據權利要求1所述方法，其特征在于，所述基于路口圖片及路口激光點云的融合特征進行三維目標檢測包括：

基于軌跡點位置將三維激光點云投影到對應的二維圖像上，根據圖像特征圖與激光點云投影特征圖的比例關系進行特征融合；

基于融合得到的特征圖生成三維提案，將三維提案轉換為規范坐標，進行三維包圍框預測。

3.根據權利要求1所述的方法，其特征在于，所述識別路口標志牌中內容信息包括：

通過空間變換網絡將路口標志牌中地點信息文字矯正為正常線性排列的文字，結合端到端識別網絡對地點信息文字進行識別。

4.根據權利要求1所述方法，其特征在于，所述獲取標記的軌跡點附近的道路信息，將路口標志牌及標志牌內容信息與對應的道路關聯還包括：

根據路口標志牌形狀和大小去除激光點云中重復提取的路口標志牌，并將提取得到的路口標志牌和關聯的道路反饋給高精度地圖制作系統。

5.一種用于路口標志牌提取及關聯的裝置，其特征在于，包括：

獲取模塊，用于獲取道路激光點云數據及對應的連續幀圖片數據；

路口檢測模塊，用于通過無錨點框目標檢測網絡對連續幀圖片進行路口目標檢測，標記檢測到目標時對應的軌跡點位置，根據軌跡點位置切割點云得到固定大小的路口激光點云塊；

其中，將resnet作為骨架網絡，通過空洞卷積和空間金字塔池化提取不同尺度目標特征；融合多尺度特征構建熱力圖，并基于熱力圖中關鍵點預測目標框中心點，回歸目標框尺寸；

目標提取模塊，用于基于路口圖片及路口激光點云的融合特征進行三維目標檢測，并根據相機參數和三維目標信息獲取圖像中目標的二維包圍框，提取圖像中路口標志牌；

識別模塊，用于識別路口標志牌中內容信息，根據路口標志牌中方向信息對標志牌進行分類；

關聯模塊，用于獲取標記的軌跡點附近的道路信息，將路口標志牌及標志牌內容信息與對應的道路關聯。

6.根據權利要求5所述裝置，其特征在于，所述基于路口圖片及路口激光點云的融合特征進行三維目標檢測包括：

基于軌跡點位置將三維激光點云投影到對應的二維圖像上，根據圖像特征圖與激光點云投影特征圖的比例關系進行特征融合；基于融合得到的特征圖生成三維提案，將三維提案轉換為規范坐標，進行三維包圍框預測。

7.一種電子設備，包括處理器、存儲器以及存儲在所述存儲器中并在處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現如權利要求1至4中任一項所述路口標志牌提取及關聯的方法的步驟。

8.一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至4任一項所述路口標志牌提取及關聯的方法的步驟。