[發(fā)明專利]激光成像儀和彩色相機(jī)編碼融合目標(biāo)識別方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010730170.0
• 申請日: 2020-07-27
• 公開（公告）號: CN111898671B
• 公開（公告）日: 2022-05-24
• 發(fā)明（設(shè)計(jì)）人: 裴大茗;宋萍;翟亞宇;楊誠;王建峰
• 申請（專利權(quán)）人: 中國船舶工業(yè)綜合技術(shù)經(jīng)濟(jì)研究院;北京理工大學(xué)
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/764;G06V10/80;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京高沃律師事務(wù)所 11569
• 代理人: 王立普

1.一種激光成像儀和彩色相機(jī)編碼融合目標(biāo)識別方法，其特征在于，包括：

獲取待識別目標(biāo)的深度圖像和RGB圖像；所述深度圖像利用激光成像儀獲取；所述RGB圖像利用彩色相機(jī)獲取；

對所述深度圖像和所述RGB圖像分別進(jìn)行預(yù)處理，得到預(yù)處理后的深度圖像和預(yù)處理后的RGB圖像；所述預(yù)處理包括邊緣填充法、深度圖像彩色化的方法以及去均值的方法；

采用雙線性編碼融合網(wǎng)絡(luò)對所述預(yù)處理后的深度圖像和預(yù)處理后的RGB圖像進(jìn)行目標(biāo)識別；所述雙線性編碼融合網(wǎng)絡(luò)以所述預(yù)處理后的深度圖像和預(yù)處理后的RGB圖像為輸入，以目標(biāo)識別結(jié)果為輸出；

所述采用雙線性編碼融合網(wǎng)絡(luò)對所述預(yù)處理后的深度圖像和預(yù)處理后的RGB圖像進(jìn)行目標(biāo)識別，具體包括：

利用所述雙線性編碼融合網(wǎng)絡(luò)的RGB圖像卷積層提取所述預(yù)處理后的RGB圖像的特征；

利用所述雙線性編碼融合網(wǎng)絡(luò)的深度圖像卷積層提取所述預(yù)處理后的深度圖像的特征；

利用雙線性融合方法對所述預(yù)處理后的RGB圖像的特征和所述預(yù)處理后的深度圖像的特征進(jìn)行融合，得到融合特征；

根據(jù)所述融合特征，采用稀疏編碼，確定所述融合特征的稀疏系數(shù)；

對所述融合特征和所述稀疏系數(shù)進(jìn)行局部聚合描述子向量編碼，確定編碼后的局部特征；

對所述編碼后的局部特征進(jìn)行聚合和歸一化處理，確定全局特征；

根據(jù)所述全局特征，采用所述雙線性編碼融合網(wǎng)絡(luò)的全連接層，將所述全局特征映射到樣本標(biāo)記空間；

利用所述雙線性編碼融合網(wǎng)絡(luò)的softmax分類器對映射到樣本標(biāo)記空間的全局特征進(jìn)行目標(biāo)識別；

利用雙線性融合方法對所述預(yù)處理后的RGB圖像的特征和所述預(yù)處理后的深度圖像的特征進(jìn)行融合，得到融合特征，具體包括：

通過向量外積的方式將所述預(yù)處理后的RGB圖像的特征和所述預(yù)處理后的深度圖像的特征進(jìn)行融合；

根據(jù)所述融合特征，采用稀疏編碼，確定所述融合特征的稀疏系數(shù)，具體包括：

采用近端梯度下降求解稀疏系數(shù)。

2.根據(jù)權(quán)利要求1所述的一種激光成像儀和彩色相機(jī)編碼融合目標(biāo)識別方法，其特征在于，所述對所述深度圖像和所述RGB圖像分別進(jìn)行預(yù)處理，得到預(yù)處理后的深度圖像和預(yù)處理后的RGB圖像，具體包括：

利用邊緣填充法調(diào)整所述深度圖像的尺寸和所述RGB圖像的尺寸；

利用深度圖像彩色化的方法處理尺寸調(diào)整后的深度圖像；

利用去均值的方法處理尺寸調(diào)整后的RGB圖像以及深度圖像彩色化后的深度圖像。

3.根據(jù)權(quán)利要求1所述的一種激光成像儀和彩色相機(jī)編碼融合目標(biāo)識別方法，其特征在于，所述雙線性編碼融合網(wǎng)絡(luò)RGB圖像卷積層和所述深度圖像卷積層的結(jié)構(gòu)相同，且均由6層卷積網(wǎng)絡(luò)構(gòu)成；

第一層卷積網(wǎng)絡(luò)的輸入大小為224×224×3，卷積核大小為11×11，輸出通道數(shù)為64；第二層卷積網(wǎng)絡(luò)的輸入大小為27×27×64，卷積核大小為5×5，輸出通道數(shù)為192；第三層卷積網(wǎng)絡(luò)的輸入大小為13×13×192，卷積核大小為3×3，輸出通道數(shù)為384；第四層卷積網(wǎng)絡(luò)的輸入大小為13×13×384，卷積核大小為3×3，輸出通道數(shù)為256；第五層卷積網(wǎng)絡(luò)的輸入大小為13×13×256，卷積核大小為3×3，輸出通道數(shù)為256；第六層卷積網(wǎng)絡(luò)的輸入大小為6×6×256，卷積核大小為1×1，輸出通道數(shù)為32。