[發明專利]基于視覺和激光雷達的水陸邊界漂浮物判別裝置與方法

有效

• 申請號: 201811547930.3
• 申請日: 2018-12-18
• 公開（公告）號: CN109613559B
• 公開（公告）日: 2022-04-22
• 發明（設計）人: 張霖;趙林坤;田劭宇;肖懷前;錢邦永;駱敏舟
• 申請（專利權）人: 河海大學常州校區;江蘇省淮沭新河管理處
• 主分類號: G01S17/89
• 分類號: G01S17/89;G01S17/02;G06V10/764;G06V10/40;G06V10/82;G06N3/04;G06N3/08;G06N3/12
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 丁濤

1.一種基于視覺和激光雷達的水面漂浮物與陸地邊界的判別裝置，其特征在于：所述裝置包括數據采集層、處理判別層和通信接口層；

所述數據采集層：包括一個激光雷達、一個視覺系統和一個視覺處理SOC；所述視覺處理SOC通過廣播網絡絕對時間和相對時間，實現視覺系統的圖像數據和激光雷達掃描的點云數據的時刻同步；所述視覺系統與所述激光雷達同時對同一河岸與水面交界區域行掃描拍攝，采集河岸、水藻與垃圾點云數據與視覺圖像；所述視覺處理SOC內置圖像預處理程序，即通過加入各向異性濾波可以實現視覺系統圖像實時去噪與增強；

所述處理判別層包括：MCU、人機交互模塊、位姿測量模塊、圖像分析處理模塊和深度神經網絡訓練模塊；MCU與位姿測量模塊通過SPI通信總線通信，MCU與人機交互模塊通過RS485進行通信，所述深度神經網絡訓練模塊與圖像分析處理模塊直接通過DMA在MCU內存進行數據交換；

所述人機交互模塊用于提供人工遙控、顯示和音頻輸出功能，用于初始安裝時的部分設置、顯示工作和工作完成時無人船的靠岸回港工作；

所述位姿測量模塊通過建立以激光雷達為原點、三坐標軸方向固定的動態空間坐標系，確定無人船的實時航向偏轉，并采集該信息，通過該空間坐標系，可確定激光雷達采集的河岸點云坐標，利用空間幾何向量，可計算出該時刻河岸的近似空間平面方程和垂直方向無人船實時位置水深，避免無人船因為水深太淺而擱淺，所述位姿測量模塊的數據也用于深度神經網絡訓練模塊訓練模型；

所述圖像分析處理模塊通過SIFT算法對數據采集層的圖像進行特征點采集，采集城市河道河岸紋理圖像、水藻和水上垃圾水面漂浮物作為視覺圖像特征參量，并匹配同一時刻、同一區域的雷達掃描點云圖，并將以上視覺圖像、視覺圖像特征參量和雷達掃描點云圖傳輸至深度神經網絡訓練模型；

所述深度神經網絡訓練模塊，以視覺圖像、視覺圖像特征參量和同時刻匹配的雷達點云圖像為輸入，以與輸入數據相同時刻的航向偏轉信息為輸出，進行進化訓練；

所述通信接口層用于裝置提供數據傳輸的通信接口；通信接口層包括Ethernet SOC、Powerlink模塊以及CAN模塊。

2.一種基于視覺和激光雷達的水面漂浮物與陸地邊界的判別方法，利用權利要求1所述的裝置，其特征在于包括如下步驟：

（1）根據無人船結構和吃水深度，確定激光雷達照射區域應與船頭保持的距離,根據無人船吃水深度和河道結構，確定船與水陸交界處的預警距離；

（2）通過人機交互模塊，設置當前視覺系統和激光雷達照射方向及照射角度，激光雷達照射方向、視覺系統拍攝方向、船頭方向與無人船的前進方向應共面；

（3）裝置安裝完畢后，將無人船置于水，進入裝置校準階段；

（4）先由人工操作無人船采集以下特殊水面視覺特征影像和雷達掃描點云數據：城市河道河岸紋理、水藻和水上垃圾及其他漂浮物；

（5）裝置通過數據采集層獲取視覺系統和激光雷達的數據，通過視覺處理SOC加各向異性濾波對攝像機拍攝的圖像進行預處理，對圖像降噪和增強，同時，通過通信接口層的通信模塊與無人船螺旋槳控制器進行通信，裝置接收來自螺旋槳控制器的信號，提供當前螺旋槳推進方向信息；

（6）圖像分析處理模塊利用數據采集層的預處理圖像，建立圖像序列的滑動時間窗并對比前后影像變化，實時檢測影像中變化的特征參量和不變特征參量，最后根據特征參量建立漂浮物與河岸特征模型；

（7）位姿測量模塊實時進行無人船航向偏轉信息采集，并將航向偏轉信息傳輸至深度神經訓練模塊；根據已知的河道寬度和以雷達為空間坐標系原點的任意河岸三點坐標，無人船計算出無人船實時位置的水深和離岸距離，根據已設定的預警距離，判斷是否會發生擱淺；

（8）利用遺傳算法，深度神經訓練模塊將圖像分析處理模塊特征結果作為神經網絡模型輸入，位姿測量模塊的航向偏轉信息為輸出進行訓練，并存儲網絡模型，當完成裝置的校準工作；

（9）若裝置未完成校準，重復步驟（4）至步驟（8）進行校準；如果裝置已經完成校準，重復步驟（4）和步驟（7），并進入步驟（10）；

（10）利用已經存儲的神經網絡模型，將圖像分析處理模塊記過作為神經網絡模型輸入，位姿測量模塊的信息為輸出進行指導無人船的水上作業；

（11）重復步驟（9）和步驟（10）開始進行無人船的在線實時工作流程。