[發(fā)明專利]一種基于單尺度特征的點云與圖片融合方法、裝置及其設(shè)備有效
| 申請?zhí)枺?/td> | 201810777774.3 | 申請日： | 2018-07-16 |
| 公開（公告）號： | CN109035338B | 公開（公告）日： | 2020-11-10 |
| 發(fā)明（設(shè)計）人： | 徐楷;馮良炳;陳先開 | 申請（專利權(quán)）人： | 深圳辰視智能科技有限公司 |
| 主分類號： | G06T7/73 | 分類號： | G06T7/73 |
| 代理公司： | 深圳協(xié)成知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44458 | 代理人： | 章小燕 |
| 地址： | 518000 廣東省深圳市南山區(qū)*** | 國省代碼： | 廣東;44 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 一種 基于 尺度 特征 圖片 融合 方法 裝置 及其 設(shè)備 | ||
本發(fā)明實施例提供了一種基于單尺度特征的點云與圖片融合方法、裝置及其設(shè)備，所述方法包括：將點云特征與圖片特征分別通過一卷積層進行第一次卷積操作；將第一次卷積層操作后輸出結(jié)果分別做為第二個卷積層的輸入，進行第二次卷積操作；將第二次卷積操作后輸出的結(jié)果做一次逐元素取平均融合；將點云特征與圖片特征經(jīng)第一次卷積操作后輸出結(jié)果、第二次卷積操作后輸出結(jié)果以及逐元素取平均融合操作后獲得的特征圖進行一次跳躍連接，并進行線性融合；然后再做第三次卷積操作；將經(jīng)第三次卷積操作后結(jié)果進行逐元素取平均融合，并作為最終輸出結(jié)果。本發(fā)明所述方法能精確地對目標物體進行定位及方向預(yù)測，以提高對目標物體定位及方向預(yù)測的精準性。
技術(shù)領(lǐng)域
本發(fā)明涉及計算機視覺領(lǐng)域，尤其涉及一種基于單尺度特征的點云與圖片融合方法、裝置及其設(shè)備。
背景技術(shù)
目前，人們對自動駕駛安全問題的關(guān)注，使得自動駕駛領(lǐng)域的3D目標檢測研究成為了熱點。相對于2D目標檢測，3D目標檢測需要檢測出2D目標檢測所沒有要求的深度信息，因此雷達傳感器獲得的包含深度信息的點云數(shù)據(jù)成為了3D目標檢測的數(shù)據(jù)來源之一。然而，由于點云數(shù)據(jù)往往是稀疏的，并且不能傳達豐富的紋理信息，使得檢測算法不能很好地達到預(yù)期的效果。而與點云數(shù)據(jù)相比，圖片數(shù)據(jù)雖然無法表示深度信息，但是可以表示豐富的紋理信息，在這種情況下，設(shè)計可以有不錯效果的同時利用點云數(shù)據(jù)與圖片數(shù)據(jù)進行3D目標檢測的算法成為了一個急待解決的問題。
然而，現(xiàn)有的點云數(shù)據(jù)與圖片融合方法往往采用如線性相加或取平均值的方法進行處理，處理方法過于簡單并且數(shù)據(jù)間無交互，如此，現(xiàn)有方法在對3D目標定位與方向預(yù)測方面均存在定位效果不佳，預(yù)測精準度不高等問題。
發(fā)明內(nèi)容
有鑒于此，本發(fā)明的目的在于提供一種基于單尺度特征的點云與圖片融合方法及其裝置，旨在能精確地對目標物體進行定位及方向預(yù)測，以提高對目標物體定位及方向預(yù)測的精準性。
本發(fā)明解決上述技術(shù)問題所采用的技術(shù)方案如下：
本發(fā)明的第一方面提供一種基于單尺度特征的點云與圖片融合方法，該方法包括：
通過提取特征網(wǎng)絡(luò)獲得點云特征與圖片特征，將點云特征與圖片特征分別通過一卷積層進行第一次卷積操作；
將點云特征與圖片特征經(jīng)過第一次卷積操作后輸出的結(jié)果分別做為第二個卷積層的輸入，進行第二次卷積操作；
將點云特征與圖片特征經(jīng)過第二次卷積操作后輸出的結(jié)果做一次逐元素取平均融合；
將點云特征與圖片特征經(jīng)第一次卷積操作后輸出結(jié)果、第二次卷積操作后輸出結(jié)果以及逐元素取平均融合操作后獲得的特征圖進行一次跳躍連接，并進行線性融合；
將經(jīng)跳躍連接，并進行線性融合后獲得的特征圖分別經(jīng)過一卷積層做第三次卷積操作；
將經(jīng)第三次卷積操作獲得的點云特征與圖片特征再次進行逐元素取平均融合，并作為融合算法的最終輸出結(jié)果。
在一些實施例中，所述通過提取特征網(wǎng)絡(luò)獲得點云特征與圖片特征，將點云特征與圖片特征分別通過一卷積層進行第一次卷積操作的步驟還包括：
同時控制卷積層輸出的特征圖個數(shù)，對應(yīng)數(shù)學(xué)公式為：
其中，卷積層卷積核大小都為1*1，步長都為1；
xim,xpc為輸入融合網(wǎng)絡(luò)的特征圖；
下標“im”、“pc”分別代表為圖片特征和點云特征；
為兩個并列的卷積層的權(quán)重參數(shù)；
b1im,b1pc為兩個并列的卷積層的偏置參數(shù)；
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于深圳辰視智能科技有限公司，未經(jīng)深圳辰視智能科技有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201810777774.3/2.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
