[發明專利]基于手繪地圖的3D場景重建實現方法及系統

在審

• 申請號: 202210086092.4
• 申請日: 2022-01-25
• 公開（公告）號: CN116543115A
• 公開（公告）日: 2023-08-04
• 發明（設計）人: 肖雙九;楊睿恒;董德禮;楊旭波
• 申請（專利權）人: 上海交通大學
• 主分類號: G06T17/05
• 分類號: G06T17/05;G06T7/11;G06T5/30;G06N3/0475;G06N3/0464;G06N3/048;G06N3/082;G06V10/774
• 代理公司: 上海交達專利事務所 31201
• 代理人: 王毓理;王錫麟

1.一種基于手繪地圖的3D場景重建實現方法，其特征在于，包括：GIS位圖數據生成階段和三維場景模型重建階段，其中：GIS位圖數據生成階段中，將用戶輸入的手繪地圖轉化為語義圖后，采用圖像翻譯網絡將輸入的語義圖轉換成街區位圖，再利用StrtdemGAN網絡模型將街區位圖轉換成地形梯度場從而獲得地形的高度變化數據，最后以積分梯度的方式生成地形高度圖；在三維場景模型重建階段中，根據GIS位圖數據生成GIS矢量數據，并依據各GIS矢量數據重建地形上的各類附著物模型；

所述的StrtdemGAN網絡模型采用gradient?penalty技術以提升其訓練的穩定性，該StrtdemGAN網絡模型具體包括：生成器和判別器，該生成器包括：四層卷積層、兩層反卷積層和九個Resnet?Block，每層之間均有BN層和LeakyReLU激活函數連接；判別器包括：5個卷積層，每層之間用LeakyReLU激活函數進行連接，沒有BN層。

2.根據權利要求1所述的基于手繪地圖的3D場景重建實現方法，其特征是，所述的StrtdemGAN網絡模型輸出矩陣形式的地形梯度場，矩陣中每個元素具有兩個維度，分別表示該位置地形梯度的x和y方向值。

3.根據權利要求1所述的基于手繪地圖的3D場景重建實現方法，其特征是，所述的StrtdemGAN網絡模型的損失函數包括一個基于格林公式的特殊函數，用于使輸出數據滿足積分與路徑的無關條件，具體為：其中：G為網絡的生成器，S為網絡的輸入，z為一個隨機數，x為網絡輸出矩陣中每個元素的第0維變量，y為網絡輸出矩陣中每個元素的第1維變量。

4.根據權利要求1所述的基于手繪地圖的3D場景重建實現方法，其特征是，所述的積分梯度的方式是指對于地形高度圖每一個位置(x_t,y_t)的像素值，從圖片左上角開始，以一個初始值先沿x軸方向累加梯度場中的梯度值，當x值達到x_t之后，再沿y方向累加梯度場的梯度值，直到到達目標點(x_t,y_t)，此時累加的值就為x-y路徑下該點地形的高度大小；然后再從圖片左上角和初始值開始，先沿y方向累加，再沿x方向累加，得出y-x路徑下該點的高度值，將兩個高度值求平均得出(x_t,y_t)位置最終的地形高度。

5.根據權利要求1所述的基于手繪地圖的3D場景重建實現方法，其特征是，所述的圖像翻譯網絡，通過以下方式構建得到用于訓練的數據集SKE2STRT，包括以下步驟：

1)使用java?scripts腳本從高德地圖中不斷改變經緯度值，截取多個在不同經緯度但具有同樣經緯度跨度的地圖塊做為街區位圖，同步記錄下截取這些街區位圖所用的經緯度；

2)根據截取到的街區位圖，利用本發明修改制作的數據標注工具人工簡易描繪這些地圖，從而得到一張與街區位圖對應的語義圖；

3)將街區位圖和語義圖轉換為同樣的大小并儲存為一個數據集。

6.根據權利要求1所述的基于手繪地圖的3D場景重建實現方法，其特征是，所述的StrtdemGAN網絡模型，通過以下方式構建得到用于訓練的數據集SRTR2DEM，包括以下步驟：

1)從SRTM?30m數據庫中按照經緯度收集一個較大范圍的高程數據；

2)使用java?scripts腳本從高德地圖中不斷改變經緯度值，截取多個在不同經緯度但具有同樣經緯度跨度的地圖塊做為街區位圖，同步記錄下截取這些街區位圖所用的經緯度，并保證收集的高程數據在這些經緯度位置不為空；

3)根據截取街區位圖所用經緯度數據，在高程數據中截取同樣范圍的高程數據并轉換為高度圖；

4)將街區位圖和高度圖轉換為同樣的大小并儲存為一個數據集。