[發明專利]一種多線程實時構建正射影像語義地圖的系統

有效

• 申請號: 202110265944.1
• 申請日: 2021-03-11
• 公開（公告）號: CN112991487B
• 公開（公告）日: 2023-10-17
• 發明（設計）人: 劉議聰;隋旭陽;賴春強;張振禹;馬婷霞;李亞南;陳大鵬;王鈐;劉歆瀏
• 申請（專利權）人: 中國兵器裝備集團自動化研究所有限公司
• 主分類號: G06T11/20
• 分類號: G06T11/20;G06T7/11;G06T3/40;G06T7/33;G06T1/20;G06T1/60;G06V20/10;G06V20/70;G06V10/94;G06V10/26;G06V10/82;G06V10/80;G06V10/46;G06V10/56
• 代理公司: 成都行之專利代理有限公司 51220
• 代理人: 伍旭偉

1.一種多線程實時構建正射影像語義地圖的系統，其特征在于，包括無人機光電吊艙、AI邊緣計算設備、電臺以及綜合控制計算機；

所述無人機光電吊艙，用于采集地面地形的航拍圖像；

所述AI邊緣計算設備，搭載于所述無人機吊艙平臺上，用于根據所述航拍圖像構建二維正射影像地圖；還用于對所述二維正射影像地圖中的環境要素進行識別并分割；

所述電臺，用于將所述二維正射影像地圖和所述環境要素的分割結果傳輸至所述綜合控制計算機；

其中，所述分割結果為各分割區域的位置數據或語義化信息；

所述綜合控制計算機，用于根據所述分割結果對所述二維正射影像地圖進行分色標注，形成二維正射影像語義化地圖。

2.根據權利要求1所述的一種多線程實時構建正射影像語義地圖的系統，其特征在于，所述AI邊緣計算設備包括CPU和GPU；

所述CPU，用于根據所述航拍圖像構建所述二維正射影像地圖；

其中，所述CPU，設置有圖像采集線程、圖像拼接線程以及圖像傳輸線程；

所述圖像采集線程，用于從所述無人機光電吊艙獲取所述航拍圖像，并將所述航拍圖像儲存至圖像緩存隊列；

所述圖像拼接線程，用于從所述圖像緩存隊列中按時序讀取所述航拍圖像，按照圖像深淺融合特征并結合所述航拍圖像自帶的POS數據信息對所述航拍圖像進行拼接，直至得到所述二維正射影像地圖；

所述圖像傳輸線程，用于將所述圖像拼接線程實時拼接的圖像數據傳輸至所述綜合控制計算機；

所述GPU，用于對所述二維正射影像地圖中的環境要素進行識別并分割，以得到所述二維正射影像地圖的語義化信息。

3.根據權利要求1所述的一種多線程實時構建正射影像語義地圖的系統，其特征在于，所述電臺包括圖傳電臺和數傳電臺；

所述圖傳電臺，用于將所述二維正射影像地圖傳輸至所述綜合控制計算機；

所述數傳電臺，用于將所述分割結果傳輸至所述綜合控制計算機。

4.根據權利要求1所述的一種多線程實時構建正射影像語義地圖的系統，其特征在于，所述綜合控制計算機設置有可視化界面，以實時查看所述二維正射影像地圖的動態拼接過程。

5.根據權利要求2-4中任意一項所述的一種多線程實時構建正射影像語義地圖的系統，其特征在于，所述圖像采集線程包括圖像配準子進程，所述圖像配準子進程包括以下處理過程：

提取所述航拍圖像的特征點和參照圖像的特征點；

將所述航拍圖像的特征點和所述參照圖像的特征點分別輸入預先訓練好的VGG-19網絡，得到所述航拍圖像的深度特征描述子和所述參照圖像的深度特征描述子；

將所述航拍圖像的顏色信息特征和尺度不變特征進行融合，得到所述航拍圖像的淺層次融合特征；將所述參照圖像的顏色信息特征和尺度不變特征進行融合，得到所述參照圖像的淺層次融合特征；

將所述航拍圖像的深度特征描述子和所述航拍圖像的淺層次融合特征進行融合，得到所述航拍圖像的深淺層次融合特征；將所述參照圖像的深度特征描述子和所述參照圖像的淺層次融合特征進行融合，得到所述參照圖像的深淺層次融合特征；

將所述航拍圖像的深淺層次融合特征和所述參照圖像的深淺層次融合特征進行特征點匹配，并根據匹配結果進行插值和坐標轉換，以獲取配準結果。

6.根據權利要求5所述的一種多線程實時構建正射影像語義地圖的系統，其特征在于，所述圖像采集線程還包括圖像融合子進程，當所述圖像配準子進程完成對所述航拍圖像的配準后，所述圖像融合子進程用于將配準后的所述航拍圖像進行融合。

7.根據權利要求5所述的一種多線程實時構建正射影像語義地圖的系統，其特征在于，對所述二維正射影像地圖中的環境要素進行識別并分割包括以下處理過程：

對所述二維正射影像地圖進行裁剪，以獲取固定尺寸的影像地圖；

對所述影像地圖交替進行14次卷積運算和6次池化運算，以提取所述影像地圖的深度特征；

將所述深度特征分別進行4次不同大小的空洞卷積運算，以得到第一加強深度特征、第二加強深度特征、第三加強深度特征以及第四加強深度特征；

將所述第一加強深度特征、所述第二加強深度特征、所述第三加強深度特征以及所述第四加強深度特征通過串并聯的方式進行連接、相加和合并，以獲得所述影像地圖的多尺度特征圖的特征信息；

對所述多尺度特征圖的特征信息依次進行上采樣和卷積運算，再經過sigmoid函數將所述多尺度特征圖的預測結果映射至[0,1]區間，以得到所述二維正射影像地圖的環境要素預測結果。