[發明專利]激光成像儀和彩色相機編碼融合目標識別方法及系統

有效

• 申請號: 202010730170.0
• 申請日: 2020-07-27
• 公開（公告）號: CN111898671B
• 公開（公告）日: 2022-05-24
• 發明（設計）人: 裴大茗;宋萍;翟亞宇;楊誠;王建峰
• 申請（專利權）人: 中國船舶工業綜合技術經濟研究院;北京理工大學
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/764;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京高沃律師事務所 11569
• 代理人: 王立普

本發明涉及一種激光成像儀和彩色相機編碼融合目標識別方法及系統。所述方法包括獲取待識別目標的深度圖像和RGB圖像；對所述深度圖像和所述RGB圖像分別進行預處理，得到預處理后的深度圖像和預處理后的RGB圖像；采用雙線性編碼融合網絡對所述預處理后的深度圖像和預處理后的RGB圖像進行目標識別；本發明所提供的一種激光成像儀和彩色相機編碼融合目標識別方法及系統，提高了目標識別的速度和精度。

技術領域

本發明涉及多模態融合目標識別領域，特別是涉及一種激光成像儀和彩色相機編碼融合目標識別方法及系統。

背景技術

在人工智能迅猛發展的時代，機器人、無人車、智能安檢、智能監控等智能設備發展迅速，正在不斷改變人們的日常生活。這些智能設備雖然功能各異，但是為了在復雜環境下高可靠地完成多樣化任務，其必須能夠實現對目標的快速成像、識別，才能為智能設備的跟蹤、排險、打擊等提供信息支撐。因此，目標識別一直以來都是人工智能領域計算機視覺方向最受關注的視覺任務之一。

目前，目標識別方法按照圖像類型主要可分為二維目標識別(RGB圖像)和三維目標識別(RGB-D圖像)。其中，基于RGB圖像的目標識別算法已經達到了很高的識別精度，但是由于RGB色彩模態信息很容易受到外界環境的影響而導致此類算法難以適應更廣泛的目標識別場景；關于RGB-D圖像目標識別的研究多采用RGB圖像數據集預訓練的網絡參數對深度圖像網絡進行微調或者把深度圖像作為RGB圖像的第四通道來進行簡單處理，沒有對RGB圖像和深度圖像之間的關系進行詳細研究，未能充分對兩種圖像進行融合，以致于不能充分發揮兩種圖像在目標識別中的作用，從而造成目標識別速度較慢以及精度較低。

發明內容

本發明的目的是提供一種激光成像儀和彩色相機編碼融合目標識別方法及系統，提高目標識別的速度和精度。

為實現上述目的，本發明提供了如下方案：

一種激光成像儀和彩色相機編碼融合目標識別方法，包括：

獲取待識別目標的深度圖像和RGB圖像；所述深度圖像利用激光成像儀獲取；所述RGB圖像利用彩色相機獲取；

對所述深度圖像和所述RGB圖像分別進行預處理，得到預處理后的深度圖像和預處理后的RGB圖像；所述預處理包括邊緣填充法、深度圖像彩色化的方法以及去均值的方法；

采用雙線性編碼融合網絡對所述預處理后的深度圖像和預處理后的RGB圖像進行目標識別；所述雙線性編碼融合網絡以所述預處理后的深度圖像和預處理后的RGB圖像為輸入，以目標識別結果為輸出。

可選的，對所述深度圖像和所述RGB圖像分別進行預處理，得到預處理后的深度圖像和預處理后的RGB圖像，具體包括：

利用邊緣填充法調整所述深度圖像的尺寸和所述RGB圖像的尺寸；

利用深度圖像彩色化的方法處理尺寸調整后的深度圖像；

利用去均值的方法處理尺寸調整后的RGB圖像以及深度圖像彩色化后的深度圖像。

可選的，所述采用雙線性編碼融合網絡對所述預處理后的深度圖像和預處理后的RGB圖像進行目標識別，具體包括：

利用所述雙線性編碼融合網絡的RGB圖像卷積層提取所述預處理后的RGB圖像的特征；

利用所述雙線性編碼融合網絡的深度圖像卷積層提取所述預處理后的深度圖像的特征；

利用雙線性融合方法對所述預處理后的RGB圖像的特征和所述預處理后的深度圖像的特征進行融合，得到融合特征；

根據所述融合特征，采用稀疏編碼，確定所述融合特征的稀疏系數；

對所述融合特征和所述稀疏系數進行局部聚合描述子向量編碼，確定編碼后的局部特征；