[發(fā)明專利]6D位姿標(biāo)注方法、系統(tǒng)及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110255261.8
• 申請(qǐng)日: 2021-03-09
• 公開（公告）號(hào): CN113034593A
• 公開（公告）日: 2021-06-25
• 發(fā)明（設(shè)計(jì)）人: 孫靖文;伍廣彬;言宏亮;于波;張華
• 申請(qǐng)（專利權(quán)）人: 深圳市廣寧股份有限公司;深圳市格靈人工智能與機(jī)器人研究院有限公司;深圳市格靈人工智能與機(jī)器人研究院
• 主分類號(hào): G06T7/73
• 分類號(hào): G06T7/73;G06K9/62
• 代理公司: 廣州嘉權(quán)專利商標(biāo)事務(wù)所有限公司 44205
• 代理人: 洪銘福

本申請(qǐng)公開了一種6D位姿標(biāo)注方法、系統(tǒng)及存儲(chǔ)介質(zhì)，方法包括：獲取目標(biāo)物體的圖像信息；根據(jù)目標(biāo)掩碼，將目標(biāo)物體深度圖片轉(zhuǎn)化為第一點(diǎn)云集合；采用PPF算法對(duì)第一點(diǎn)云集合與預(yù)設(shè)的模型點(diǎn)云集合進(jìn)行粗匹配，得到目標(biāo)物體的第一位姿，并根據(jù)第一位姿將第一點(diǎn)云集合轉(zhuǎn)換為第二點(diǎn)云集合；采用點(diǎn)對(duì)面的ICP算法將第二點(diǎn)云集合與模型點(diǎn)云集合進(jìn)行第一次精匹配，得到目標(biāo)物體的第二位姿，并根據(jù)第二位姿將第二點(diǎn)云集合轉(zhuǎn)換為第三點(diǎn)云集合；采用點(diǎn)對(duì)點(diǎn)的ICP算法將第三點(diǎn)云集合與模型點(diǎn)云集合進(jìn)行第二次精匹配，得到目標(biāo)物體的第三位姿；根據(jù)得到的三個(gè)位姿計(jì)算出目標(biāo)物體的目標(biāo)位姿。本申請(qǐng)可以高效地得到目標(biāo)物體的較為準(zhǔn)確的目標(biāo)位姿。

技術(shù)領(lǐng)域

本申請(qǐng)涉及機(jī)器視覺技術(shù)領(lǐng)域，特別涉及一種6D位姿標(biāo)注方法、系統(tǒng)及存儲(chǔ)介質(zhì)。

背景技術(shù)

6D位姿預(yù)測(cè)是3D視覺中一個(gè)關(guān)鍵技術(shù)，位姿即位置和姿態(tài)，位置可由空間坐標(biāo)(x,y,z)進(jìn)行描述，即平移，姿態(tài)可由三個(gè)方向的旋轉(zhuǎn)(pitch,yaw,roll)來(lái)描述，所以物體的位姿可以用6個(gè)自由度的數(shù)據(jù)來(lái)描述。6D位姿預(yù)測(cè)旨在準(zhǔn)確測(cè)量目標(biāo)物體的3D旋轉(zhuǎn)值和3D平移值，廣泛應(yīng)用在諸如機(jī)器人抓取、增強(qiáng)現(xiàn)實(shí)、自動(dòng)駕駛等場(chǎng)景中。

6D位姿預(yù)測(cè)有很多種方法，深度學(xué)習(xí)的技術(shù)可以大大提高6D位姿預(yù)測(cè)的準(zhǔn)確性，而隨著深度學(xué)習(xí)技術(shù)的發(fā)展，6D位姿一般通過兩種方式進(jìn)行標(biāo)注：一是通過人工數(shù)據(jù)標(biāo)注，由于深度學(xué)習(xí)需要大量的數(shù)據(jù)進(jìn)行支撐，人工標(biāo)注6D位姿常常需要大量的時(shí)間和工作量，不僅造成較高的人工成本，而且會(huì)嚴(yán)重影響標(biāo)注效率；二是通過采用方陣的方法制作大量的數(shù)據(jù)以供深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，再將訓(xùn)練好的網(wǎng)絡(luò)針對(duì)現(xiàn)實(shí)場(chǎng)景進(jìn)行預(yù)測(cè)，如此可以節(jié)省人工標(biāo)注的時(shí)間，但是由于仿真數(shù)據(jù)和真實(shí)場(chǎng)景下的數(shù)據(jù)存在差異，使得深度學(xué)習(xí)訓(xùn)練得出的結(jié)果的準(zhǔn)確性無(wú)法得到保證。

發(fā)明內(nèi)容

本申請(qǐng)旨在至少解決現(xiàn)有技術(shù)中存在的技術(shù)問題之一，為此，本申請(qǐng)?zhí)岢鲆环N6D位姿標(biāo)注方法、系統(tǒng)及存儲(chǔ)介質(zhì)，能夠高效且準(zhǔn)確地得到6D位姿。

本申請(qǐng)的第一方面，提供了一種6D位姿標(biāo)注方法，包括：獲取目標(biāo)物體的圖像信息；其中，圖像信息包括目標(biāo)掩碼和目標(biāo)物體的深度圖片；根據(jù)目標(biāo)掩碼，將目標(biāo)物體深度圖片轉(zhuǎn)化為第一點(diǎn)云集合；粗匹配步驟：采用PPF算法對(duì)第一點(diǎn)云集合與預(yù)設(shè)的模型點(diǎn)云集合進(jìn)行粗匹配，得到目標(biāo)物體的第一位姿，并根據(jù)第一位姿將第一點(diǎn)云集合轉(zhuǎn)換為第二點(diǎn)云集合；第一次精匹配：采用點(diǎn)對(duì)面的ICP算法將第二點(diǎn)云集合與模型點(diǎn)云集合進(jìn)行第一次精匹配，得到目標(biāo)物體的第二位姿，并根據(jù)第二位姿將第二點(diǎn)云集合轉(zhuǎn)換為第三點(diǎn)云集合；第二次精匹配：采用點(diǎn)對(duì)點(diǎn)的ICP算法將第三點(diǎn)云集合與模型點(diǎn)云集合進(jìn)行第二次精匹配，得到目標(biāo)物體的第三位姿；根據(jù)第一位姿、第二位姿和第三位姿，計(jì)算出目標(biāo)物體的目標(biāo)位姿。

根據(jù)本申請(qǐng)第一方面實(shí)施例的6D位姿標(biāo)注方法，至少具有如下有益效果：通過首先將第一點(diǎn)云集合與預(yù)設(shè)的模型點(diǎn)云集合進(jìn)行粗匹配，得到目標(biāo)物體的第一位姿，并由第一位姿將第一點(diǎn)云集合轉(zhuǎn)換為第二點(diǎn)云集合；再將第二點(diǎn)云集合與預(yù)設(shè)的模型點(diǎn)云集合進(jìn)行點(diǎn)對(duì)面的第一次精匹配，得到目標(biāo)物體的第二位姿，并由第二位姿將第二點(diǎn)云集合轉(zhuǎn)換為第三點(diǎn)云集合；最后將第三點(diǎn)云集合與預(yù)設(shè)的模型點(diǎn)云集合進(jìn)行點(diǎn)對(duì)點(diǎn)的第二次精匹配，得到目標(biāo)物體的第三位姿；最終將三次匹配得到的三個(gè)位姿進(jìn)行計(jì)算，得到目標(biāo)物體的目標(biāo)位姿。整個(gè)過程通過采集目標(biāo)物體的圖像信息，再將目標(biāo)物體轉(zhuǎn)化的第一點(diǎn)云集合經(jīng)過一系列的粗匹配以及兩次精匹配，可以得到準(zhǔn)確的目標(biāo)位姿，而且由于不再需要進(jìn)行人工標(biāo)注目標(biāo)物體的位姿，可以有效地提高工作效率。

根據(jù)本申請(qǐng)的一些實(shí)施例，還包括：采用DBSCAN的點(diǎn)云去噪算法將第一點(diǎn)云集合進(jìn)行去噪，得到去噪后的第一點(diǎn)云集合，并將去噪后的第一點(diǎn)云集合用于粗匹配步驟。采集到的第一點(diǎn)云集合由于光照等原因會(huì)包含有大量的噪點(diǎn)，而常用的基于半徑和基于統(tǒng)計(jì)的點(diǎn)云去噪方法，對(duì)于少量離散的噪點(diǎn)效果很好，但針對(duì)大面積聚集型點(diǎn)云噪聲效果有限。而基于DBSCAN的點(diǎn)云去噪方法，能很好的去除大面積的聚集型點(diǎn)云噪聲，使得第一點(diǎn)云集合去噪之后再進(jìn)行匹配能夠有效的提高匹配精度。