[發明專利]基于視覺和激光雷達的水陸邊界漂浮物判別裝置與方法

有效

• 申請號: 201811547930.3
• 申請日: 2018-12-18
• 公開（公告）號: CN109613559B
• 公開（公告）日: 2022-04-22
• 發明（設計）人: 張霖;趙林坤;田劭宇;肖懷前;錢邦永;駱敏舟
• 申請（專利權）人: 河海大學常州校區;江蘇省淮沭新河管理處
• 主分類號: G01S17/89
• 分類號: G01S17/89;G01S17/02;G06V10/764;G06V10/40;G06V10/82;G06N3/04;G06N3/08;G06N3/12
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 丁濤

本發明公開了一種基于視覺和激光雷達的水面漂浮物與陸地邊界的檢測裝置，所述裝置包括數據采集層、處理判別層和通信接口層；所述數據采集層：包括一個激光雷達、一個視覺系統和一個視覺處理SOC；所述處理判別層包括：MCU、人機交互模塊、位姿測量模塊、圖像分析處理模塊和深度神經網絡訓練模塊；上述通信接口層包括Ethernet SOC、Powerlink模塊以及CAN模塊。本發明提供一種基于視覺和激光雷達的水面漂浮物與陸地邊界的檢測裝置及方法，使無人船既可以準確地判別有漂浮物的水面與陸地或河岸的邊界，又能夠探測該時刻船底與河床距離，及時避免擱淺等危險的發生。

技術領域

本發明涉及一種基于視覺和激光雷達的水面漂浮物與陸地邊界的判別裝置與方法，屬于工業智能裝備的狀態監測技術領域。

背景技術

水面垃圾清理無人船，是一種不需要人力操控，由其自主導航、檢測、定位、監控于一體的，進行水面垃圾收集清理作業的專用設備，由于我國城市化和工業化的發展，對河道產生了污染，垃圾和浮藻等水面漂浮物大面積覆蓋水面，致使水面環境復雜，無人船在水面上無法準確判別水陸邊界，這樣就有可能致使無人船在水中作業時過于靠近河岸，使無人船擱淺，甚至造成無人船船體損傷。所以這種檢測判別是急需和必要的，以便于提高無人船作業時的流暢度與安全性。

發明內容

為了解決上述問題，本發明提供一種基于視覺和激光雷達的水面漂浮物與陸地邊界的檢測裝置及方法，使無人船既可以準確地判別有漂浮物的水面與陸地或河岸的邊界，又能夠探測該時刻船底與河床距離，及時避免擱淺等危險的發生。本發明檢測裝置與無人船通過接口聯接來控制舵漿，方便維護人員對無人船本體和檢測裝置的維護和編程，以及對激光雷達和視覺系統以及檢測裝置的故障檢測、分析與更換。

本發明的技術方案如下：

一種基于視覺和激光雷達的水面漂浮物與陸地邊界的檢測裝置，所述裝置包括數據采集層、處理判別層和通信接口層；

所述數據采集層：包括一個激光雷達、一個視覺系統和一個視覺處理SOC；所述視覺SOC通過廣播網絡絕對時間和相對時間，實現視覺系統的圖像數據和激光雷達掃描的點云數據的時刻同步；所述視覺系統與所述激光雷達同時對同一河岸與水面交界區域行掃描拍攝，采集河岸、水藻與垃圾點云數據與視覺圖像；所述視覺SOC內置圖像預處理程序，通過加入各向異性擴散濾波對圖像進行平滑和圖像邊緣保留，此為現有成熟算法；

所述處理判別層包括：MCU、人機交互模塊、位姿測量模塊、圖像分析處理模塊和深度神經網絡訓練模塊；MCU與位姿測量模塊通過SPI通信總線通信，MCU與人機交互模塊通過RS485進行通信，所述深度神經網絡訓練模塊與圖像分析處理模塊直接通過DMA在MCU內存進行數據交換；

所述人機交互模塊用于提供人工遙控、顯示和音頻輸出功能，用于初始安裝時的部分設置、顯示工作和工作完成時無人船的靠岸回港工作；

所述位姿測量模塊以激光雷達為原點建立站心直角坐標系，通過記錄導航軟件的輸出數據，記錄無人船的航向偏轉信息，通過該空間坐標系以及激光雷達采集的河岸點云坐標，由最小二乘法原理擬合出該時刻河岸的近似空間平面方程，則由點到面距離公式可得船到河岸的垂直距離，避免無人船因為太靠近河岸而擱淺，所述位姿測量模塊的數據也用于深度神經網絡訓練模塊訓練模型；

所述圖像分析處理模塊可通過現有的SIFT算法對數據采集層的圖像進行特征點采集，并對所有特征點生成特征點描述向量，將以上視覺圖像、視覺圖像特征點傳輸至深度神經網絡訓練模型；

所述深度神經網絡訓練模塊通過現有的遺傳算法，以視覺圖像、視覺圖像特征參量為輸入，以與輸入數據相同時刻的航向偏轉信息為輸出，對其進行進化訓練；

所述通信接口層用于裝置提供數據傳輸的通信接口；通信接口層包括EthernetSOC、Powerlink模塊以及CAN模塊。