[發(fā)明專利]點(diǎn)云增強(qiáng)方法、點(diǎn)云增強(qiáng)裝置、存儲介質(zhì)與電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202010146867.3
• 申請日: 2020-03-05
• 公開（公告）號: CN113362236A
• 公開（公告）日: 2021-09-07
• 發(fā)明（設(shè)計(jì)）人: 李艷麗;孫旋
• 申請（專利權(quán)）人: 北京京東乾石科技有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/11
• 代理公司: 北京律智知識產(chǎn)權(quán)代理有限公司 11438
• 代理人: 王輝;闞梓瑄

1.一種點(diǎn)云增強(qiáng)方法，其特征在于，包括：

獲取由雷達(dá)設(shè)備檢測待檢測區(qū)域所得到的點(diǎn)云，以及相機(jī)拍攝所述待檢測區(qū)域所得到的至少一幀圖像，所述待檢測區(qū)域中包括至少一個文本子區(qū)域；

從所述至少一幀圖像中選取至少一關(guān)鍵幀圖像，在所述關(guān)鍵幀圖像中分割出所述文本子區(qū)域；

將所述點(diǎn)云映射到所述關(guān)鍵幀圖像中，從位于所述文本子區(qū)域內(nèi)的子點(diǎn)云中選取不在同一直線上的至少三個點(diǎn)，根據(jù)所述至少三個點(diǎn)確定空間文本平面；

將所述文本子區(qū)域的像素點(diǎn)映射到所述空間文本平面，以生成新點(diǎn)云點(diǎn)，基于所述新點(diǎn)云點(diǎn)對所述點(diǎn)云進(jìn)行增強(qiáng)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述從所述至少一幀圖像中選取至少一關(guān)鍵幀圖像，在所述關(guān)鍵幀圖像中分割出所述文本子區(qū)域，包括：

在每一幀圖像中均檢測文字區(qū)域；

對相鄰兩幀圖像中的文字區(qū)域進(jìn)行匹配，以在所述每一幀圖像中對每個所述文字區(qū)域進(jìn)行跟蹤；

對于每個所述文字區(qū)域，將其包圍盒面積最大的一幀圖像確定為所述文字區(qū)域?qū)?yīng)的關(guān)鍵幀圖像，并從所述關(guān)鍵幀圖像中分割出所述文字區(qū)域的包圍盒，以作為所述文字區(qū)域?qū)?yīng)的文本子區(qū)域。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述對相鄰兩幀圖像中的文字區(qū)域進(jìn)行匹配，包括：

獲取相鄰兩幀圖像的光流，并確定匹配的光流點(diǎn)數(shù)量；

當(dāng)所述光流點(diǎn)數(shù)量與所述文字區(qū)域的像素點(diǎn)數(shù)量之比大于第一閾值時，確定所述文字區(qū)域在所述相鄰兩幀圖像中為同一文字區(qū)域。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述點(diǎn)云映射到所述關(guān)鍵幀圖像中，包括：

將所述點(diǎn)云從世界坐標(biāo)系轉(zhuǎn)換到圖像坐標(biāo)系。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述至少三個點(diǎn)確定空間文本平面，包括：

將所述至少三個點(diǎn)從世界坐標(biāo)系轉(zhuǎn)換到相機(jī)坐標(biāo)系；

在所述相機(jī)坐標(biāo)系中，根據(jù)所述至少三個點(diǎn)的相機(jī)坐標(biāo)求解所述至少三個點(diǎn)所確定的平面，得到所述空間文本平面。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述將所述文本子區(qū)域的像素點(diǎn)映射到所述空間文本平面，以生成新點(diǎn)云點(diǎn)，包括：

在所述相機(jī)坐標(biāo)系中，獲取所述文本子區(qū)域的像素點(diǎn)在所述空間文本平面上的投影點(diǎn)，所述投影點(diǎn)為：經(jīng)過所述相機(jī)坐標(biāo)系的原點(diǎn)和所述像素點(diǎn)的直線，與所述空間文本平面的交點(diǎn)；

將所述投影點(diǎn)從所述相機(jī)坐標(biāo)系轉(zhuǎn)換到所述世界坐標(biāo)系，以生成所述像素點(diǎn)對應(yīng)的新點(diǎn)云點(diǎn)。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述文本子區(qū)域的像素點(diǎn)映射到所述空間文本平面，包括：

對所述文本子區(qū)域進(jìn)行分割，得到所述文本子區(qū)域的文字部分與背景部分；

通過第一采樣率對所述文字部分進(jìn)行采樣，得到前景像素點(diǎn)，以及通過第二采樣率對所述背景部分進(jìn)行采樣，得到背景像素點(diǎn)，所述第一采樣率高于所述第二采樣率；

將所述前景像素點(diǎn)和所述背景像素點(diǎn)映射到所述空間文本平面。

8.根據(jù)權(quán)利要求1所述的方法，其特征在于，在將所述文本子區(qū)域的像素點(diǎn)映射到所述空間文本平面之前，所述方法還包括：

通過以下任意一種或多種方式對所述文本子區(qū)域進(jìn)行圖像優(yōu)化：

超分辨率重建、去模糊、去噪、去霧。

9.根據(jù)權(quán)利要求1所述的方法，其特征在于，在生成所述新點(diǎn)云點(diǎn)時，所述方法還包括：

將所述新點(diǎn)云點(diǎn)對應(yīng)的所述像素點(diǎn)的像素值或灰度值，賦值給所述新點(diǎn)云點(diǎn)。