[發明專利]融合機器視覺與聽覺的水下運動物體檢測與識別方法

有效

• 申請號: 201810049793.4
• 申請日: 2018-01-18
• 公開（公告）號: CN108492323B
• 公開（公告）日: 2022-01-28
• 發明（設計）人: 張翠翠;劉志磊
• 申請（專利權）人: 天津大學
• 主分類號: G06T7/269
• 分類號: G06T7/269;G06T7/215;G06K9/62
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 劉國威

本發明涉及水下運動物體檢測與識別領域，為解決水下光學與水下聲學兩種方法單獨進行水下運動物體檢測與識別的缺陷，能夠及時準確的互通信息，使得水下目標的追蹤與識別能夠及時準確的實行。為此，本發明，融合機器視覺與聽覺的水下運動物體檢測與識別方法，步驟如下：第一步：聲視覺系統與光視覺系統的搭建第二步：基于聲視覺系統的預處理第三步：基于光視覺系統的目標檢測與特征提取第四步基于貝葉斯網絡的聲與光視覺系統的融合。本發明主要應用于水下運動物體檢測與識別。

技術領域

本發明涉及水下運動物體檢測與識別領域(underwater moving objectdetection and recognition)，尤其涉及利用機器視覺與聽覺融合的方法進行水下運動物體檢測與識別，具體講,涉及利用稀疏動態貝葉斯網絡來融合水下視覺與水下聲覺兩種物體檢測方法對不同運動物體的視覺圖像與聲學信號進行分類從而實現對水下運動物體的自動識別。

背景技術

水下運動物體追蹤與識別一直是海洋科學與計算機科學與技術的共同難題。水下機器人(Autonomous Underwater Vehicle，簡稱AUV)是認識海洋的重要載體。AUV對于海洋數據的采集，海底資源勘探，海洋環境觀測，信息搜集和水下工程建設都具有非常重要的作用。AUV的終極目標是實現真正的自主感知環境的能力，這就需要AUV能自主的檢測水下環境，追蹤并識別目標，從而制定決策并開展作業。雖然AUV在硬件及控制系統方面已經具有了非常大的進步，但是由于海洋環境的復雜和感知手段的有限，其自助感知環境的能力仍然不強，追蹤與識別水下運動物體的能力很有限。

基于水下聲學視覺(Acoustic Vision)的聲納系統(包括前視聲納、側掃聲納、單波束聲納、多波束聲納、成像聲納等)和基于水下機器視覺(Aqua Vision)的光學攝像頭是AUV感知周圍環境的基本工具。聲納成像是一項廣而粗的技術，它的探測距離廣而深，但是由于受到海底暗流，水體的不均勻引起的聲波反射和折射，海底不均勻導致的散射，各種水下生物的干擾，使得聲納成像具有非常強烈的斑塊噪聲，并且聲納圖像沒有顏色，不能提供紋理和形狀信息，給水下物體追蹤和識別造成巨大的困擾。最近，基于光學成像的單目或雙目視覺技術已經開始應用到AUV上，雖然光學圖像可以提供顏色，紋理和形狀信息，但是由于光線在水中的傳播距離非常有限，使得該技術只適用于于淺海區域，又由于淺海區域的水質比較渾濁，導致其目標檢測和識別的能力沒有得到相應的改善。為了克服單純用聲學視覺或光學視覺在水下物體檢追蹤與識別的難點，本發明旨在開發一種融合水下聲學與光學視覺的一種新方法用于水下目標(包括沉船、魚群、海底沉物、地貌底質等)的自動檢測與識別，從而使得AUV在自主感知周圍環境上有實質性的進步。

發明內容

為克服現有技術的不足，解決水下光學與水下聲學兩種方法單獨進行水下運動物體檢測與識別的缺陷，本發明旨在開發一種融合水下光學與聲學技術的整體框架用于水下運動物體的檢測與識別。該融合框架不但能夠在水聲和光學圖像各自層面上進行有效的信息處理，而且通過設置前饋和反饋機制使得基于水聲的預處理與基于光學的精細處理能夠及時準確的互通信息，使得水下目標的追蹤與識別能夠及時準確的實行。為此，本發明采用的技術方案是，融合機器視覺與聽覺的水下運動物體檢測與識別方法，步驟如下：

第一步：聲視覺系統與光視覺系統的搭建。

光視覺系統包括水下攝像機、照明設備用來滿足獲取光學圖像和視頻信息的要求；利用多波束聲納系統采集目標定位；

第二步：基于聲視覺系統的預處理

基于聲納圖像的圖像處理和目標預測：

第三步：基于光視覺系統的目標檢測與特征提取