[發(fā)明專利]稀疏2D點(diǎn)集的深度特征提取方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010006265.8
• 申請(qǐng)日: 2020-01-03
• 公開(kāi)（公告）號(hào): CN111223136A
• 公開(kāi)（公告）日: 2020-06-02
• 發(fā)明（設(shè)計(jì)）人: 李茁;楊慧光;李宇光;楊柳
• 申請(qǐng)（專利權(quán)）人: 三星（中國(guó)）半導(dǎo)體有限公司;三星電子株式會(huì)社
• 主分類號(hào): G06T7/50
• 分類號(hào): G06T7/50;G06T7/73;G06N3/04
• 代理公司: 北京銘碩知識(shí)產(chǎn)權(quán)代理有限公司 11286
• 代理人: 王皎彤;王兆賡

提供一種稀疏2D點(diǎn)集的深度特征提取方法及裝置。稀疏2D點(diǎn)集的深度特征提取方法包括：根據(jù)輸入的稀疏2D點(diǎn)集數(shù)據(jù)，生成所述稀疏2D點(diǎn)集數(shù)據(jù)的具有空間層次的包括關(guān)鍵點(diǎn)集和局部點(diǎn)集的點(diǎn)集結(jié)構(gòu)數(shù)據(jù)；分別對(duì)關(guān)鍵點(diǎn)集和局部點(diǎn)集進(jìn)行關(guān)系特征編碼，得到關(guān)鍵點(diǎn)集的關(guān)系特征編碼和局部點(diǎn)集的關(guān)系特征編碼；根據(jù)關(guān)鍵點(diǎn)集的關(guān)系特征編碼和/或局部點(diǎn)集的關(guān)系特征編碼分別提取所述輸入的稀疏2D點(diǎn)集數(shù)據(jù)的全局特征和/或局部特征，從而實(shí)現(xiàn)了稀疏點(diǎn)集深度網(wǎng)絡(luò)特征的完整準(zhǔn)確提取。此外，對(duì)稀疏2D點(diǎn)集進(jìn)行深度特征提取得到的全局特征和/或局部特征可以用于估計(jì)預(yù)設(shè)對(duì)象的6自由度位姿，還可以用于對(duì)輸入的稀疏2D點(diǎn)集數(shù)據(jù)進(jìn)行分割。

技術(shù)領(lǐng)域

本公開(kāi)涉及一種稀疏2D點(diǎn)集的深度特征提取方法及裝置。

背景技術(shù)

對(duì)傳統(tǒng)的2D點(diǎn)集(像素點(diǎn))進(jìn)行處理以用于估計(jì)物體的6自由度位姿的過(guò)程，是一個(gè)相當(dāng)復(fù)雜的流程，包括關(guān)鍵點(diǎn)特征提取，2D-3D配準(zhǔn)，幾何變換，非線性優(yōu)化等，這需要大量的計(jì)算資源，同時(shí)噪聲會(huì)比較大。

近年來(lái)，基于深度學(xué)習(xí)解決這個(gè)問(wèn)題的方法越來(lái)越多。例如，采用卷積神經(jīng)網(wǎng)絡(luò)(CNN)對(duì)圖像進(jìn)行處理以估計(jì)物體的位姿，相比傳統(tǒng)的方法具有比較好的魯棒性。然而，該方案主要針對(duì)稠密的2D像素點(diǎn)集，提取的是圖片中的紋理和輪廓特征，這對(duì)無(wú)序點(diǎn)集，尤其是稀疏點(diǎn)集(沒(méi)有紋理、輪廓和顏色RGB)是不適用的。

而隨著3D傳感器的發(fā)展，近幾年針對(duì)3D點(diǎn)集的深度學(xué)習(xí)提出了很多方法，而且能夠處理針對(duì)無(wú)序點(diǎn)集、稀疏甚至極度稀疏點(diǎn)集的方法。其中，最有代表性的有PointNet家族和PointConv方法。

其中，PointNet、PointNet++和PointConv都是通過(guò)提取點(diǎn)集的全局特征和局部特征，對(duì)點(diǎn)集進(jìn)行處理。然而以上三種方式在提取全局特征和局部特征的過(guò)程中，均未能全面考慮稀疏2D點(diǎn)集的特征，導(dǎo)致點(diǎn)集的深度特征信息并不準(zhǔn)確，在后續(xù)的使用場(chǎng)景中效果不夠理想。

發(fā)明內(nèi)容

本公開(kāi)的示例性實(shí)施例在于提供一種稀疏2D點(diǎn)集的深度特征提取方法及裝置，以提高稀疏2D點(diǎn)集的深度特征提取的準(zhǔn)確性，進(jìn)而可以提高位姿估計(jì)和點(diǎn)集分割等的準(zhǔn)確性，并且為相似場(chǎng)景提供通用性的解決方案。

根據(jù)本公開(kāi)的示例性實(shí)施例，提供一種稀疏2D點(diǎn)集的深度特征提取方法，包括：根據(jù)輸入的稀疏2D點(diǎn)集數(shù)據(jù)，生成所述稀疏2D點(diǎn)集數(shù)據(jù)的具有空間層次的包括關(guān)鍵點(diǎn)集和局部點(diǎn)集的點(diǎn)集結(jié)構(gòu)數(shù)據(jù)，所述點(diǎn)集結(jié)構(gòu)數(shù)據(jù)中包括所述關(guān)鍵點(diǎn)集的每個(gè)關(guān)鍵點(diǎn)與所述局部點(diǎn)集的局部子點(diǎn)集之間的一一對(duì)應(yīng)關(guān)系；分別對(duì)所述關(guān)鍵點(diǎn)集和所述局部點(diǎn)集進(jìn)行關(guān)系特征編碼，得到關(guān)鍵點(diǎn)集的關(guān)系特征編碼和局部點(diǎn)集的關(guān)系特征編碼；根據(jù)所述關(guān)鍵點(diǎn)集的關(guān)系特征編碼和/或所述局部點(diǎn)集的關(guān)系特征編碼分別提取所述輸入的稀疏2D點(diǎn)集數(shù)據(jù)的全局特征和/或局部特征，從而實(shí)現(xiàn)了稀疏點(diǎn)集深度網(wǎng)絡(luò)特征的完整準(zhǔn)確提取。

可選地，所述分別對(duì)所述關(guān)鍵點(diǎn)集和所述局部點(diǎn)集進(jìn)行關(guān)系特征編碼的步驟可包括：采用非局部編碼的方式對(duì)所述關(guān)鍵點(diǎn)集進(jìn)行點(diǎn)與點(diǎn)之間的關(guān)系特征編碼，得到所述關(guān)鍵點(diǎn)集的關(guān)系特征編碼；采用非局部編碼的方式對(duì)所述局部點(diǎn)集進(jìn)行點(diǎn)與點(diǎn)之間的關(guān)系特征編碼，得到局部點(diǎn)集的關(guān)系特征編碼，從而實(shí)現(xiàn)了分別對(duì)關(guān)鍵點(diǎn)集和局部點(diǎn)集進(jìn)行關(guān)系特征編碼。

可選地，所述根據(jù)所述關(guān)鍵點(diǎn)集的關(guān)系特征編碼和/或所述局部點(diǎn)集的關(guān)系特征編碼分別提取所述輸入的稀疏2D點(diǎn)集數(shù)據(jù)的全局特征和/或局部特征的步驟可包括：基于所述關(guān)鍵點(diǎn)集的關(guān)系特征編碼，采用最大池化層提取所述全局特征，從而實(shí)現(xiàn)了全局特征的提取。

可選地，所述根據(jù)所述關(guān)鍵點(diǎn)集的關(guān)系特征編碼和/或所述局部點(diǎn)集的關(guān)系特征編碼分別提取所述輸入的稀疏2D點(diǎn)集數(shù)據(jù)的全局特征和/或局部特征的步驟可包括：基于所述局部點(diǎn)集的關(guān)系特征編碼，對(duì)局部特征提取器子網(wǎng)絡(luò)的前預(yù)設(shè)數(shù)量層的結(jié)果進(jìn)行融合，以提取所述局部特征，從而實(shí)現(xiàn)了局部特征的提取。