[發(fā)明專利]一種三維重建方法、裝置、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202211066713.9
• 申請日: 2022-09-01
• 公開（公告）號: CN115439607A
• 公開（公告）日: 2022-12-06
• 發(fā)明（設(shè)計）人: 黨婉麗;曹利波;王朝;耿龍;鄭懷宇;牛杰;潘野;陳肇欣;張濤;游奕
• 申請（專利權(quán)）人: 中國民用航空總局第二研究所
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T3/40;G06T7/13;G06T7/80;G06V10/26
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 劉鳳

本公開提供了一種三維重建方法、裝置、電子設(shè)備及存儲介質(zhì)，通過獲取待重建場景中目標(biāo)監(jiān)控圖像的直線數(shù)據(jù)，根據(jù)直線數(shù)據(jù)尋找消失點，確定對應(yīng)的相機標(biāo)定參數(shù)；根據(jù)檢測的直線集合通過神經(jīng)網(wǎng)絡(luò)劃分室內(nèi)幾何結(jié)構(gòu)，將目標(biāo)監(jiān)控圖像按照幾何結(jié)構(gòu)拆分成多幅圖像；將拆分的圖像投影到新的視平面進(jìn)行透視變換，并計算圖像梯度幅值和方向。對梯度幅值進(jìn)行非極大值抑制，計算兩幅圖像中相鄰區(qū)域的灰度直方圖，采用雙閾值算法對圖像進(jìn)行邊緣檢測和連接。構(gòu)建待重建場景的三維模型，根據(jù)相機標(biāo)定參數(shù)，確定映射圖像與三維模型之間的投影矩陣，根據(jù)投影矩陣，將圖像中的紋理信息投影至三維模型中?？梢詫崿F(xiàn)精準(zhǔn)的實時三維重建，并且具有較好的重建視覺效果。

技術(shù)領(lǐng)域

本公開涉及計算機圖形學(xué)技術(shù)領(lǐng)域，具體而言，涉及一種三維重建方法、裝置、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)

三維重建(3D Reconstruction)是指對三維物體建立適合計算機表示和處理的數(shù)學(xué)模型,是在計算機環(huán)境下對其進(jìn)行處理、操作和分析其性質(zhì)的基礎(chǔ),也是在計算機中建立表達(dá)客觀世界的虛擬現(xiàn)實的關(guān)鍵技術(shù)。

在現(xiàn)有的三維重建技術(shù)中，基本采用激光點云進(jìn)行重建，需要添加激光相機作為硬件設(shè)備，成本昂貴，且花費時間長。并且在應(yīng)用于機場航站樓的場景時，由于機場航站樓中較多存在玻璃等光滑表面，拍攝到的監(jiān)控視頻多存在反光、畸變等情形，使二維相機采集到的場景紋理信息存在畸變等問題，與三維模型之間無法對應(yīng)，進(jìn)而導(dǎo)致三維重建的效果較差。

發(fā)明內(nèi)容

本公開實施例至少提供一種三維重建方法、裝置、電子設(shè)備及存儲介質(zhì)，可以針對待重建場景的三維空間進(jìn)行準(zhǔn)確的重建，并且具有較好的重建視覺效果。

本公開實施例提供了一種三維重建方法，所述方法包括：

獲取待重建場景的目標(biāo)監(jiān)控圖像，檢測所述目標(biāo)監(jiān)控圖像的直線數(shù)據(jù)，并確定拍攝所述目標(biāo)監(jiān)控圖像的相機標(biāo)定參數(shù)；

根據(jù)所述直線數(shù)據(jù)以及所述目標(biāo)監(jiān)控圖像，確定劃分所述目標(biāo)監(jiān)控圖像中幾何結(jié)構(gòu)的目標(biāo)直線集合；根據(jù)所述直線集合，將所述目標(biāo)監(jiān)控圖像按照對應(yīng)的幾何結(jié)構(gòu)拆分成多個結(jié)構(gòu)圖像；

將所述結(jié)構(gòu)圖像通過透視變換投影至預(yù)設(shè)目標(biāo)視平面，確定透視變換后的所述結(jié)構(gòu)圖像的像素梯度幅值和方向，根據(jù)預(yù)設(shè)梯度閾值在透視變換后的所述結(jié)構(gòu)圖像中進(jìn)行邊緣檢測，確定所述結(jié)構(gòu)圖像對應(yīng)的圖像邊緣區(qū)域；

確定所述圖像邊緣區(qū)域?qū)?yīng)的灰度對比度，拼接所述灰度對比度之間的差值小于預(yù)設(shè)灰度對比度閾值的相鄰所述結(jié)構(gòu)圖像，得到結(jié)構(gòu)拼接圖像；

構(gòu)建所述待重建場景對應(yīng)的三維模型，根據(jù)所述相機標(biāo)定參數(shù)，確定所述結(jié)構(gòu)拼接圖像與所述三維模型之間的投影矩陣，根據(jù)所述投影矩陣，將所述結(jié)構(gòu)拼接圖像中的紋理信息投影至所述三維模型中。

一種可選的實施方式中，所述根據(jù)所述直線數(shù)據(jù)以及所述目標(biāo)監(jiān)控圖像，確定劃分所述目標(biāo)監(jiān)控圖像中幾何結(jié)構(gòu)的目標(biāo)直線集合；根據(jù)所述直線集合，將所述目標(biāo)監(jiān)控圖像按照對應(yīng)的幾何結(jié)構(gòu)拆分成多個結(jié)構(gòu)圖像，具體包括：

將所述直線數(shù)據(jù)以及所述目標(biāo)監(jiān)控圖像輸入至預(yù)先訓(xùn)練好的語義分割網(wǎng)絡(luò)中，針對所述目標(biāo)監(jiān)控圖像中的幾何結(jié)構(gòu)進(jìn)行分類，確定所述目標(biāo)監(jiān)控圖像對應(yīng)的掩碼矩陣；

將所述直線數(shù)據(jù)在所述目標(biāo)監(jiān)控圖像中對應(yīng)的像素點矩陣，與所述掩碼矩陣求交，確定所述目標(biāo)直線集合；

按照所述目標(biāo)直線集合中包括的各個目標(biāo)直線數(shù)據(jù)，將所述目標(biāo)監(jiān)控圖像拆分成多個所述結(jié)構(gòu)圖像。

一種可選的實施方式中，在所述獲取待重建場景的目標(biāo)監(jiān)控圖像，檢測所述目標(biāo)監(jiān)控圖像中的直線數(shù)據(jù)，并確定拍攝所述目標(biāo)監(jiān)控圖像的相機標(biāo)定參數(shù)之后，所述方法還包括：

確定所述直線數(shù)據(jù)中，每條直線的兩個端點對應(yīng)的齊次坐標(biāo)，并根據(jù)所述齊次坐標(biāo)將對應(yīng)的所述直線表示為齊次坐標(biāo)向量；