[發明專利]一種基于虛幻引擎的軌道障礙物檢測仿真平臺的構建方法

在審

• 申請號: 202110504554.5
• 申請日: 2021-05-10
• 公開（公告）號: CN113495495A
• 公開（公告）日: 2021-10-12
• 發明（設計）人: 禹鑫燚;崔朱帆;歐林林
• 申請（專利權）人: 浙江工業大學
• 主分類號: G05B17/02
• 分類號: G05B17/02
• 代理公司: 杭州天正專利事務所有限公司 33201
• 代理人: 王兵

1.一種基于虛幻引擎的軌道障礙物檢測仿真平臺的構建方法，其具體步驟如下：

步驟1：在虛幻4中搭建環境，包括地形編輯，草木植被的覆蓋，軌道列車模型的設計，光照條件的設計以及雨霧天氣的設計；

步驟1-1：使用World Machine插件編輯40*40公里范圍的地形高度圖，使用GeoGlyph庫中的ReFlow宏腳本，然后連接到Splat Converter上保證splat map的正確權重；導出高度地圖，保存為PNG格式，在虛幻引擎中打開LandScape編輯器創建地貌，點擊導入WorldMachine生成的高度圖；生成地貌后在LandScape中再對地貌使用雕刻組件進行平滑、腐蝕等調整；最后給地貌添加合適的材質；

步驟1-2：在地貌上覆蓋草木植被；使用SpeedTree輔助工具編輯草叢和樹木的模型，將導出srt文件導入到虛幻引擎中，導入虛幻引擎中之后，材質已經和模型匹配完成；使用筆刷工具，對其大小范圍、密度、Z軸偏移量、法線等進行設置，之后就可以在地貌上刷上植被；

步驟1-3：設置光照和天氣；虛擬場景中使用方向性光源與天空光源相結合的方式實現對真實光照條件的仿真，不同的天候會影響陽光散射條件，通過改變天空光源模擬不同天候下的光照條件；不同光照條件的變化主要體現在方向和強度的改變上，可通過改變方向性光源的方向、強度，微調天空光源的強度，模擬不同時間的光線條件；使用虛幻引擎中設置更加靈活的粒子發射器搭建粒子系統實現雨天、霧天和雪天效果，不同天候對應的云層和光照情況通過虛幻引擎藍圖系統實現自動調整；

步驟1-4：添加軌道和列車模型并控制；列車使用3DMax編輯軌道模型以及列車模型，并導入到虛幻引擎中；為車輪創建VehicleWheel藍圖并設置輪胎的寬、半徑、旋轉角度等；創建TireType數據資源用于設定摩擦力；新建WheeledVehicle藍圖，并修改相關設定；對VehicleSetup這一欄參數進行設定；為列車創建動畫藍圖將父類設置為VehicleAnimInstance，并連接；之后在WheeledVehicle藍圖中，選擇Mesh，使用做好的動畫藍圖；使用WheeledVehicle藍圖中的VehicleMovementComponent組件控制列車；

步驟2：添加仿真環境中的相機和激光雷達傳感器，采集環境信息；激光雷達傳感器和相機傳感器使用AirSim插件中提供的傳感器；AirSim是微軟開發的仿真模擬器，可以作為插件直接用于虛幻引擎中；下載AirSim源碼并編譯；將編譯生成的plugin插件文件夾復制到虛幻工程下，打開創建的軌道列車環境的虛幻工程，將GameMode設置為AirSimGameMode便可以運行插件中的傳感器獲得信息；利用虛幻引擎提供相機組件，直接添加到場景中，獲取相機視角的圖像；；

步驟3：數據通訊搭建；將激光點云和圖像數據進行格式轉換，借助虛幻引擎官方提供的ROS Integration插件，通過socket建立windows系統到Linux系統通訊，將Windows系統上虛幻引擎處理好的傳感器數據傳輸到Ubuntu18.04系統的ROS平臺上，在ROS中完成障礙物檢測

步驟4：仿真系統界面設計；使用虛幻引擎的UMG UIDesigner設計界面，并對控件創建藍圖，編寫控制代碼完成控件功能；

設置添加啟動按鍵，控制軌道列車運行啟動和停止；

設置添加天氣模式按鍵，選擇不同的光照和天氣模式；

設置添加激光雷達傳感器按鍵，控制激光雷達點云數據的顯示；

設置添加相機傳感器按鍵，控制相機圖像數據顯示；

設置障礙物添加按鍵，在軌道上生成不同形狀的障礙物；

步驟5：利用仿真數據進行障礙物檢測；在ROS中處理傳感器數據，對原始數據進行預處理，使用相機傳感器和激光雷傳感器融合的方案，來檢測軌道上的障礙物，算法流程如圖6；

步驟5-1：使用PCL點云處理庫讀入激光雷達點云數據，對數據進行預處理；預處理方法為下采樣濾波，可以在不損失環境信息的前提下，使用較少數據量；接著進行平面分割處理，采用RANSAC(隨機抽樣一致性)算法；最后使用點云聚類算法，平面分割將點云分成了兩大類別，聚類將點云分成一個個目標集合；

步驟5-2：使用Open cv圖像處理庫讀入相機圖像數據，對數據進行預處理；預處理的方法選擇灰度變換和高斯變換；接著進行邊緣檢測使用Canny算子檢測；最后使用霍夫直線檢測，然后將劃分出來的點，進行線性擬合，繪制出軌道；

步驟5-3：對經過算法處理的點運河圖像數據進行匹配融合；首先時間匹配，將傳感器的每個采樣時刻記錄在統一的時間序列上；當激光雷達完成一次采樣時，尋找與該時刻最鄰近時刻的圖像，做為匹配的一幀；空間匹配；根據相機的原理可以求得相機坐標系、圖像坐標系和像素坐標系的轉換矩陣；根據仿真場景中激光雷達和相機安裝的位置可以得到激光雷達坐標系和相機坐標系的轉換矩陣；將激光雷達坐標系里面激光點云的點的坐標投影到相機圖像中，判斷軌道線內是否有聚類出的點云塊，來判別軌道上的障礙物。