[發(fā)明專利]三維重建方法及裝置、電子設(shè)備、計(jì)算機(jī)可讀介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210291769.8
• 申請(qǐng)日: 2022-03-22
• 公開(kāi)（公告）號(hào): CN114627244A
• 公開(kāi)（公告）日: 2022-06-14
• 發(fā)明（設(shè)計(jì)）人: 蘇明蘭;張超穎;郭枝蝦;梁寶林;王建秀
• 申請(qǐng)（專利權(quán)）人: 中國(guó)電信股份有限公司
• 主分類號(hào): G06T17/00
• 分類號(hào): G06T17/00
• 代理公司: 北京律智知識(shí)產(chǎn)權(quán)代理有限公司 11438
• 代理人: 孫寶海

1.一種三維重建方法，其特征在于，包括：

獲取待重建場(chǎng)景的目標(biāo)圖像；

分別提取所述目標(biāo)圖像中相鄰兩幀圖像的二維特征描述子，對(duì)所述相鄰兩幀圖像的二維特征描述子進(jìn)行特征匹配，得到二維關(guān)鍵點(diǎn)匹配點(diǎn)對(duì)；

對(duì)所述目標(biāo)圖像中的每幀圖像的三維關(guān)鍵點(diǎn)進(jìn)行特征描述，生成每幀圖像的三維特征描述子；所述每幀圖像的三維關(guān)鍵點(diǎn)是基于每幀圖像的二維關(guān)鍵點(diǎn)確定的；

對(duì)所述相鄰兩幀圖像的三維特征描述子進(jìn)行特征匹配，得到三維關(guān)鍵點(diǎn)匹配點(diǎn)對(duì)；

對(duì)所述二維關(guān)鍵點(diǎn)匹配點(diǎn)對(duì)和所述三維關(guān)鍵點(diǎn)匹配點(diǎn)對(duì)進(jìn)行過(guò)濾，得到目標(biāo)匹配點(diǎn)對(duì)；

根據(jù)所述目標(biāo)匹配點(diǎn)對(duì)進(jìn)行相機(jī)位姿估計(jì)和三維場(chǎng)景重建，得到重建場(chǎng)景的目標(biāo)圖像。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)所述目標(biāo)圖像中的每幀圖像的三維關(guān)鍵點(diǎn)進(jìn)行特征描述，生成每幀圖像的三維特征描述子，包括：

對(duì)所述目標(biāo)圖像中的每幀圖像分別進(jìn)行二維關(guān)鍵點(diǎn)提取，確定出每幀圖像的二維關(guān)鍵點(diǎn)；

獲取所述目標(biāo)圖像中的每幀圖像對(duì)應(yīng)的深度圖像，從所述深度圖像中確定與每幀圖像對(duì)應(yīng)的深度信息；

將每幀圖像中的二維關(guān)鍵點(diǎn)和深度信息進(jìn)行融合，以得到每幀圖像的三維關(guān)鍵點(diǎn)；

根據(jù)每幀圖像的三維關(guān)鍵點(diǎn)局部表面的變化情況和幾何特征生成每幀圖像的三維特征描述子。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述三維特征描述子包括三維直方圖特征描述子，所述根據(jù)每幀圖像的三維關(guān)鍵點(diǎn)局部表面的變化情況和幾何特征生成每幀圖像的三維特征描述子，包括：

計(jì)算每幀圖像中各個(gè)三維關(guān)鍵點(diǎn)的基礎(chǔ)三維特征直方圖；

計(jì)算每幀圖像中各個(gè)三維關(guān)鍵點(diǎn)分別對(duì)應(yīng)的K個(gè)近鄰點(diǎn)的三維特征直方圖；

對(duì)每幀圖像中各個(gè)三維關(guān)鍵點(diǎn)的基礎(chǔ)三維特征直方圖和各個(gè)三維關(guān)鍵點(diǎn)分別對(duì)應(yīng)的K個(gè)近鄰點(diǎn)的三維特征直方圖進(jìn)行加權(quán)計(jì)算，得到每幀圖像的三維直方圖特征描述子。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述對(duì)所述相鄰兩幀圖像的三維特征描述子進(jìn)行特征匹配，得到三維關(guān)鍵點(diǎn)匹配點(diǎn)對(duì)，包括：

根據(jù)所述三維特征描述子構(gòu)造特征量，并對(duì)所述特征量進(jìn)行比較和篩選，得到映射集合；

根據(jù)所述映射集合對(duì)所述相鄰兩幀圖像的三維特征描述子進(jìn)行特征匹配，得到三維關(guān)鍵點(diǎn)匹配點(diǎn)對(duì)。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述分別提取相鄰兩幀圖像的二維特征描述子，包括：

對(duì)所述目標(biāo)圖像中的相鄰兩幀圖像分別進(jìn)行二維關(guān)鍵點(diǎn)提取，得到每幀圖像的二維關(guān)鍵點(diǎn)；

分別對(duì)每幀圖像的二維關(guān)鍵點(diǎn)進(jìn)行特征描述，得到所述相鄰兩幀圖像分別對(duì)應(yīng)的二維特征描述子。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述對(duì)所述相鄰兩幀圖像的二維特征描述子進(jìn)行特征匹配，得到二維關(guān)鍵點(diǎn)匹配點(diǎn)對(duì)，包括：

從所述相鄰兩幀圖像中獲取其中一幀圖像的二維關(guān)鍵點(diǎn)；

分別計(jì)算每個(gè)二維關(guān)鍵點(diǎn)與另一幀圖像中包含的各個(gè)二維關(guān)鍵點(diǎn)的歐氏距離；

若兩個(gè)二維關(guān)鍵點(diǎn)之間的歐氏距離小于預(yù)設(shè)的距離值，則將該兩個(gè)二維關(guān)鍵點(diǎn)作為所述二維關(guān)鍵點(diǎn)匹配點(diǎn)對(duì)。

7.根據(jù)權(quán)利要求1至6中任一項(xiàng)所述的方法，其特征在于，所述對(duì)所述二維關(guān)鍵點(diǎn)匹配點(diǎn)對(duì)和所述三維關(guān)鍵點(diǎn)匹配點(diǎn)對(duì)進(jìn)行過(guò)濾，得到目標(biāo)匹配點(diǎn)對(duì)，包括：

對(duì)所述二維關(guān)鍵點(diǎn)匹配點(diǎn)對(duì)和所述三維關(guān)鍵點(diǎn)匹配點(diǎn)對(duì)進(jìn)行局部近鄰約束和深度信息約束，得到候選匹配點(diǎn)對(duì)；

使用隨機(jī)抽樣一致性算法對(duì)所述候選匹配點(diǎn)對(duì)進(jìn)行過(guò)濾，得到所述目標(biāo)匹配點(diǎn)對(duì)。