[發(fā)明專利]點云增強(qiáng)方法、點云增強(qiáng)裝置、存儲介質(zhì)與電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202010146867.3
• 申請日: 2020-03-05
• 公開（公告）號: CN113362236A
• 公開（公告）日: 2021-09-07
• 發(fā)明（設(shè)計）人: 李艷麗;孫旋
• 申請（專利權(quán)）人: 北京京東乾石科技有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/11
• 代理公司: 北京律智知識產(chǎn)權(quán)代理有限公司 11438
• 代理人: 王輝;闞梓瑄

本公開提供一種點云增強(qiáng)方法、裝置、計算機(jī)可讀存儲介質(zhì)與電子設(shè)備，涉及計算機(jī)視覺技術(shù)領(lǐng)域。該方法包括：獲取由雷達(dá)設(shè)備檢測待檢測區(qū)域所得到的點云，以及相機(jī)拍攝待檢測區(qū)域所得到的至少一幀圖像，待檢測區(qū)域中包括至少一個文本子區(qū)域；從所述至少一幀圖像中選取至少一關(guān)鍵幀圖像，在關(guān)鍵幀圖像中分割出文本子區(qū)域；將點云映射到關(guān)鍵幀圖像中，從位于文本子區(qū)域內(nèi)的子點云中選取不在同一直線上的至少三個點，根據(jù)所述至少三個點確定空間文本平面；將文本子區(qū)域的像素點映射到空間文本平面，以生成新點云點，基于所述新點云點對所述點云進(jìn)行增強(qiáng)。本公開可以實現(xiàn)點云中文本內(nèi)容及紋理的增強(qiáng)，有效恢復(fù)出文本細(xì)節(jié)信息，且實用性較高。

技術(shù)領(lǐng)域

本公開涉及計算機(jī)視覺技術(shù)領(lǐng)域，尤其涉及一種點云增強(qiáng)方法、點云增強(qiáng)裝置、計算機(jī)可讀存儲介質(zhì)與電子設(shè)備。

背景技術(shù)

點云(Point Cloud)是在特定的空間坐標(biāo)系下，表達(dá)目標(biāo)空間分布與表面特性的點的集合，一般在獲取目標(biāo)表面每個采樣點的空間坐標(biāo)后，將其形成集合，并可以進(jìn)一步繪制出目標(biāo)的三維模型。點云在自動駕駛、機(jī)器人、測繪等領(lǐng)域都有廣泛應(yīng)用。

點云的稠密度與目標(biāo)的精準(zhǔn)表達(dá)有直接關(guān)系，若點云過于稀疏，則只能對粗獷性物體，例如車輛、行人或道路區(qū)域等，進(jìn)行粗略的表示，而無法獲得細(xì)節(jié)信息。對于目標(biāo)中的文本部分，如圖1所示的路牌，由于其表面形狀單一，在采集點云時無法得到稠密的點云，進(jìn)而無法通過點云觀測到文本細(xì)節(jié)，例如無法識別出文本內(nèi)容，顯然對自動駕駛等場景中的應(yīng)用有著非常不利的影響。

需要說明的是，在上述背景技術(shù)部分公開的信息僅用于加強(qiáng)對本公開的背景的理解，因此可以包括不構(gòu)成對本領(lǐng)域普通技術(shù)人員已知的現(xiàn)有技術(shù)的信息。

發(fā)明內(nèi)容

本公開提供了一種點云增強(qiáng)方法、點云增強(qiáng)裝置、計算機(jī)可讀存儲介質(zhì)與電子設(shè)備，進(jìn)而至少在一定程度上克服現(xiàn)有的點云中無法得到文本細(xì)節(jié)信息的問題。

本公開的其他特性和優(yōu)點將通過下面的詳細(xì)描述變得顯然，或部分地通過本公開的實踐而習(xí)得。

根據(jù)本公開的第一方面，提供一種點云增強(qiáng)方法，包括：獲取由雷達(dá)設(shè)備檢測待檢測區(qū)域所得到的點云，以及相機(jī)拍攝所述待檢測區(qū)域所得到的至少一幀圖像，所述待檢測區(qū)域中包括至少一個文本子區(qū)域；從所述至少一幀圖像中選取至少一關(guān)鍵幀圖像，在所述關(guān)鍵幀圖像中分割出所述文本子區(qū)域；將所述點云映射到所述關(guān)鍵幀圖像中，從位于所述文本子區(qū)域內(nèi)的子點云中選取不在同一直線上的至少三個點，根據(jù)所述至少三個點確定空間文本平面；將所述文本子區(qū)域的像素點映射到所述空間文本平面，以生成新點云點，基于所述新點云點對所述點云進(jìn)行增強(qiáng)。

可選的，所述從所述至少一幀圖像中選取至少一關(guān)鍵幀圖像，在所述關(guān)鍵幀圖像中分割出所述文本子區(qū)域，包括：在每一幀圖像中均檢測文字區(qū)域；對相鄰兩幀圖像中的文字區(qū)域進(jìn)行匹配，以在所述每一幀圖像中對每個所述文字區(qū)域進(jìn)行跟蹤；對于每個所述文字區(qū)域，將其包圍盒面積最大的一幀圖像確定為所述文字區(qū)域?qū)?yīng)的關(guān)鍵幀圖像，并從所述關(guān)鍵幀圖像中分割出所述文字區(qū)域的包圍盒，以作為所述文字區(qū)域?qū)?yīng)的文本子區(qū)域。

可選的，所述對相鄰兩幀圖像中的文字區(qū)域進(jìn)行匹配，包括：獲取相鄰兩幀圖像的光流，并確定匹配的光流點數(shù)量；當(dāng)所述光流點數(shù)量與所述文字區(qū)域的像素點數(shù)量之比大于第一閾值時，確定所述文字區(qū)域在所述相鄰兩幀圖像中為同一文字區(qū)域。

可選的，所述將所述點云映射到所述關(guān)鍵幀圖像中，包括：將所述點云從世界坐標(biāo)系轉(zhuǎn)換到圖像坐標(biāo)系。

可選的，所述根據(jù)所述至少三個點確定空間文本平面，包括：將所述至少三個點從世界坐標(biāo)系轉(zhuǎn)換到相機(jī)坐標(biāo)系；在所述相機(jī)坐標(biāo)系中，根據(jù)所述至少三個點的相機(jī)坐標(biāo)求解所述至少三個點所確定的平面，得到所述空間文本平面。