[發(fā)明專利]基于手繪地圖的3D場景重建實現(xiàn)方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202210086092.4
• 申請日: 2022-01-25
• 公開（公告）號: CN116543115A
• 公開（公告）日: 2023-08-04
• 發(fā)明（設(shè)計）人: 肖雙九;楊睿恒;董德禮;楊旭波
• 申請（專利權(quán)）人: 上海交通大學(xué)
• 主分類號: G06T17/05
• 分類號: G06T17/05;G06T7/11;G06T5/30;G06N3/0475;G06N3/0464;G06N3/048;G06N3/082;G06V10/774
• 代理公司: 上海交達(dá)專利事務(wù)所 31201
• 代理人: 王毓理;王錫麟

1.一種基于手繪地圖的3D場景重建實現(xiàn)方法，其特征在于，包括：GIS位圖數(shù)據(jù)生成階段和三維場景模型重建階段，其中：GIS位圖數(shù)據(jù)生成階段中，將用戶輸入的手繪地圖轉(zhuǎn)化為語義圖后，采用圖像翻譯網(wǎng)絡(luò)將輸入的語義圖轉(zhuǎn)換成街區(qū)位圖，再利用StrtdemGAN網(wǎng)絡(luò)模型將街區(qū)位圖轉(zhuǎn)換成地形梯度場從而獲得地形的高度變化數(shù)據(jù)，最后以積分梯度的方式生成地形高度圖；在三維場景模型重建階段中，根據(jù)GIS位圖數(shù)據(jù)生成GIS矢量數(shù)據(jù)，并依據(jù)各GIS矢量數(shù)據(jù)重建地形上的各類附著物模型；

所述的StrtdemGAN網(wǎng)絡(luò)模型采用gradient?penalty技術(shù)以提升其訓(xùn)練的穩(wěn)定性，該StrtdemGAN網(wǎng)絡(luò)模型具體包括：生成器和判別器，該生成器包括：四層卷積層、兩層反卷積層和九個Resnet?Block，每層之間均有BN層和LeakyReLU激活函數(shù)連接；判別器包括：5個卷積層，每層之間用LeakyReLU激活函數(shù)進(jìn)行連接，沒有BN層。

2.根據(jù)權(quán)利要求1所述的基于手繪地圖的3D場景重建實現(xiàn)方法，其特征是，所述的StrtdemGAN網(wǎng)絡(luò)模型輸出矩陣形式的地形梯度場，矩陣中每個元素具有兩個維度，分別表示該位置地形梯度的x和y方向值。

3.根據(jù)權(quán)利要求1所述的基于手繪地圖的3D場景重建實現(xiàn)方法，其特征是，所述的StrtdemGAN網(wǎng)絡(luò)模型的損失函數(shù)包括一個基于格林公式的特殊函數(shù)，用于使輸出數(shù)據(jù)滿足積分與路徑的無關(guān)條件，具體為：其中：G為網(wǎng)絡(luò)的生成器，S為網(wǎng)絡(luò)的輸入，z為一個隨機(jī)數(shù)，x為網(wǎng)絡(luò)輸出矩陣中每個元素的第0維變量，y為網(wǎng)絡(luò)輸出矩陣中每個元素的第1維變量。

4.根據(jù)權(quán)利要求1所述的基于手繪地圖的3D場景重建實現(xiàn)方法，其特征是，所述的積分梯度的方式是指對于地形高度圖每一個位置(x_t,y_t)的像素值，從圖片左上角開始，以一個初始值先沿x軸方向累加梯度場中的梯度值，當(dāng)x值達(dá)到x_t之后，再沿y方向累加梯度場的梯度值，直到到達(dá)目標(biāo)點(x_t,y_t)，此時累加的值就為x-y路徑下該點地形的高度大小；然后再從圖片左上角和初始值開始，先沿y方向累加，再沿x方向累加，得出y-x路徑下該點的高度值，將兩個高度值求平均得出(x_t,y_t)位置最終的地形高度。

5.根據(jù)權(quán)利要求1所述的基于手繪地圖的3D場景重建實現(xiàn)方法，其特征是，所述的圖像翻譯網(wǎng)絡(luò)，通過以下方式構(gòu)建得到用于訓(xùn)練的數(shù)據(jù)集SKE2STRT，包括以下步驟：

1)使用java?scripts腳本從高德地圖中不斷改變經(jīng)緯度值，截取多個在不同經(jīng)緯度但具有同樣經(jīng)緯度跨度的地圖塊做為街區(qū)位圖，同步記錄下截取這些街區(qū)位圖所用的經(jīng)緯度；

2)根據(jù)截取到的街區(qū)位圖，利用本發(fā)明修改制作的數(shù)據(jù)標(biāo)注工具人工簡易描繪這些地圖，從而得到一張與街區(qū)位圖對應(yīng)的語義圖；

3)將街區(qū)位圖和語義圖轉(zhuǎn)換為同樣的大小并儲存為一個數(shù)據(jù)集。

6.根據(jù)權(quán)利要求1所述的基于手繪地圖的3D場景重建實現(xiàn)方法，其特征是，所述的StrtdemGAN網(wǎng)絡(luò)模型，通過以下方式構(gòu)建得到用于訓(xùn)練的數(shù)據(jù)集SRTR2DEM，包括以下步驟：

1)從SRTM?30m數(shù)據(jù)庫中按照經(jīng)緯度收集一個較大范圍的高程數(shù)據(jù)；

2)使用java?scripts腳本從高德地圖中不斷改變經(jīng)緯度值，截取多個在不同經(jīng)緯度但具有同樣經(jīng)緯度跨度的地圖塊做為街區(qū)位圖，同步記錄下截取這些街區(qū)位圖所用的經(jīng)緯度，并保證收集的高程數(shù)據(jù)在這些經(jīng)緯度位置不為空；

3)根據(jù)截取街區(qū)位圖所用經(jīng)緯度數(shù)據(jù)，在高程數(shù)據(jù)中截取同樣范圍的高程數(shù)據(jù)并轉(zhuǎn)換為高度圖；

4)將街區(qū)位圖和高度圖轉(zhuǎn)換為同樣的大小并儲存為一個數(shù)據(jù)集。