[發明專利]融合機器視覺與聽覺的水下運動物體檢測與識別方法

有效

• 申請號: 201810049793.4
• 申請日: 2018-01-18
• 公開（公告）號: CN108492323B
• 公開（公告）日: 2022-01-28
• 發明（設計）人: 張翠翠;劉志磊
• 申請（專利權）人: 天津大學
• 主分類號: G06T7/269
• 分類號: G06T7/269;G06T7/215;G06K9/62
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 劉國威

1.一種融合機器視覺與聽覺的水下運動物體檢測與識別方法，其特征是，步驟如下：

第一步：聲視覺系統與光視覺系統的搭建

光視覺系統包括水下攝像機、照明設備用來滿足獲取光學圖像和視頻信息的要求；利用多波束聲納系統采集目標定位；

第二步：基于聲視覺系統的預處理

基于聲納圖像的圖像處理和目標預測；

第三步：基于光視覺系統的目標檢測與特征提取

當基于聲納圖像的圖像處理和目標預測檢測到有目標位置時，將通過通訊系統輸給水下機器人，并命令水下機器人到該位置處進行搜索，此時啟動水下機器人的光視覺系統，采集視頻視覺，光視覺系統利用計算機視覺技術，將運動物體的視頻數據利用光流計算視頻中每一幀的運動信息，并且利用運動分割技術將水下機器人的運動信息與實際目標物體的運動信息進行分割與特征提取，為下一步基于貝葉斯網絡的追蹤與識別提供特征信息；

第四步：基于貝葉斯網絡的聲與光視覺系統的融合

基于稀疏動態貝葉斯網絡的框架將聲視覺系統與光視覺系統融合起來，利用聲學視覺系統獲取的預判信息作為先驗知識，將光視覺系統得到的運動信息和三維信息作為主要特征，通過貝葉斯網絡的前饋和反饋機制對水下運動進行追蹤，并利用貝葉斯分類技術進行目標識別。

2.如權利要求1所述的融合機器視覺與聽覺的水下運動物體檢測與識別方法，其特征是，第二步具體細化為：(1)圖像增強；(2)圖像恢復；(3)圖像編碼；(4)圖像重建；(5)圖像分析，其中，圖像分析具體采用四叉樹進行圖像結構分解。

3.如權利要求1所述的融合機器視覺與聽覺的水下運動物體檢測與識別方法，其特征是，所述光視覺系統包括單目視覺系統，具體地：單目光視覺系統主要分為三大塊：(1)視頻采集，通過一個專用水下CCD感光攝像頭和圖像采集卡采集視頻圖像；(2)運動估計與分割，通過Optical flow計算視頻中幀與幀之間的運動信息，并且利用水下機器人的慣導信息和運動分割算法，得到目標物體的運動信息；(3)特征提取，基于Sparse-coding的方法對運動信息進行特征提取從而得到貝葉斯框架中的目標觀測部分的信息。

4.如權利要求1所述的融合機器視覺與聽覺的水下運動物體檢測與識別方法，其特征是，所述光視覺系統還包括雙目光視覺系統，具體地，雙目光視覺系統分為三大塊：(1) 視頻采集，利用2個專用水下CCD感光攝像頭同時采集左右兩幅圖像；(2)三維重建，利用雙目視覺的原理，對于每一幀的左右攝像頭采集到的圖像進行三維重建從而得到運動物體的深度信息； (3) 特征提取，與單目光視覺系統一樣基于Sparse-coding的方法對運動信息進行特征提取從而得到貝葉斯框架中的目標觀測部分的信息。

5.如權利要求1所述的融合機器視覺與聽覺的水下運動物體檢測與識別方法，其特征是，所述貝葉斯網絡為稀疏的貝葉斯網絡。