[發(fā)明專利]建筑物三維輪廓提取及神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法和裝置

在審

• 申請?zhí)枺?/td>: 202110963024.7
• 申請日: 2021-08-20
• 公開（公告）號: CN113658203A
• 公開（公告）日: 2021-11-16
• 發(fā)明（設(shè)計）人: 孟令宣
• 申請（專利權(quán)）人: 上海商湯智能科技有限公司
• 主分類號: G06T7/13
• 分類號: G06T7/13;G06T7/12;G06T7/11;G06N3/08;G06N3/04
• 代理公司: 北京博思佳知識產(chǎn)權(quán)代理有限公司 11415
• 代理人: 靳玫

本公開實施例提供一種建筑物三維輪廓提取及神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法和裝置，通過神經(jīng)網(wǎng)絡(luò)獲取建筑物的偏移矢量預(yù)測結(jié)果來確定所述建筑物的高度，通過偏移矢量預(yù)測結(jié)果輔助語義分割結(jié)果來對建筑物進行三維輪廓提取，得到所述建筑物的三維輪廓，從而能夠提高建筑物三維輪廓提取的準(zhǔn)確度。

技術(shù)領(lǐng)域

本公開涉及計算機視覺技術(shù)領(lǐng)域，尤其涉及建筑物三維輪廓提取及神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法和裝置。

背景技術(shù)

從遙感影像中獲得建筑物的三維輪廓是測繪的重要需求之一，能夠為災(zāi)害評估，環(huán)境監(jiān)管，居民管理，城市規(guī)劃等提供重要的數(shù)據(jù)支撐。然而，對于較高的建筑物，相關(guān)技術(shù)中的建筑物三維輪廓提取方式難以準(zhǔn)確地提取出建筑物的三維輪廓。

發(fā)明內(nèi)容

本公開提供一種建筑物三維輪廓提取及神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法和裝置。

第一方面，本公開實施例提供一種建筑物三維輪廓提取方法，所述方法包括：通過神經(jīng)網(wǎng)絡(luò)對包括建筑物的單景影像進行處理，得到語義分割結(jié)果和偏移矢量預(yù)測結(jié)果，所述語義分割結(jié)果用于確定所述建筑物上的三維區(qū)域，所述偏移矢量預(yù)測結(jié)果用于確定所述建筑物的高度；基于所述建筑物的語義分割結(jié)果和偏移矢量預(yù)測結(jié)果，對所述建筑物進行三維輪廓提取，得到所述建筑物的三維輪廓。

在一些實施例中，所述語義分割結(jié)果包括用于確定建筑物邊緣的邊緣分割結(jié)果，以及用于確定建筑物上各區(qū)域的區(qū)域分割結(jié)果；所述偏移矢量預(yù)測結(jié)果包括所述建筑物的屋頂區(qū)域和側(cè)面的像素點的偏移矢量。

在一些實施例中，所述語義分割結(jié)果還包括以下至少一者：用于確定所述建筑物的邊緣方向的邊緣方向分割結(jié)果；用于確定建筑物底座區(qū)域的底座分割結(jié)果。

在一些實施例中，所述偏移矢量預(yù)測結(jié)果還包括以下至少一者：所述單景影像中建筑物的平均偏移方向角；所述建筑物的底座區(qū)域的像素點的偏移矢量，其中，所述底座區(qū)域的任意一個第二像素點的偏移矢量為所述第二像素點指向所述第二像素點在所述屋頂區(qū)域?qū)?yīng)的第一像素點的矢量。

在一些實施例中，所述語義分割結(jié)果包括用于確定建筑物底座區(qū)域的底座分割結(jié)果，以及用于確定建筑物上各區(qū)域的區(qū)域分割結(jié)果，所述三維區(qū)域包括建筑物的屋頂區(qū)域；所述偏移矢量預(yù)測結(jié)果包括第一像素點的偏移矢量，所述第一像素點為所述屋頂區(qū)域的像素點；所述神經(jīng)網(wǎng)絡(luò)基于以下方式獲取所述底座分割結(jié)果：針對每個第一像素點，基于所述第一像素點的偏移矢量對所述第一像素點進行平移，得到所述第一像素點對應(yīng)的第二像素點；基于各個第一像素點對應(yīng)的第二像素點確定所述底座分割結(jié)果。

在一些實施例中，所述神經(jīng)網(wǎng)絡(luò)包括多個語義分割網(wǎng)絡(luò)和多個預(yù)測網(wǎng)絡(luò)，所述多個語義分割網(wǎng)絡(luò)包括：用于確定建筑物邊緣的邊緣分割網(wǎng)絡(luò)；用于確定建筑物上各區(qū)域的區(qū)域分割網(wǎng)絡(luò)；用于確定所述建筑物的邊緣方向的邊緣方向分割網(wǎng)絡(luò)；用于確定建筑物底座區(qū)域的底座分割網(wǎng)絡(luò)；所述多個預(yù)測網(wǎng)絡(luò)包括：用于確定所述建筑物的屋頂區(qū)域和側(cè)面的像素點的偏移矢量的第一矢量預(yù)測網(wǎng)絡(luò)；用于確定所述建筑物的底座區(qū)域的像素點的偏移矢量的第二矢量預(yù)測網(wǎng)絡(luò)；用于確定所述單景影像中建筑物的平均偏移方向角的方向角預(yù)測網(wǎng)絡(luò)。

在一些實施例中，所述方法還包括：通過初始神經(jīng)網(wǎng)絡(luò)對樣本影像進行處理，所述初始神經(jīng)網(wǎng)絡(luò)包括多個初始分割網(wǎng)絡(luò)和多個初始預(yù)測網(wǎng)絡(luò)，所述多個初始分割網(wǎng)絡(luò)包括初始邊緣分割網(wǎng)絡(luò)、初始區(qū)域分割網(wǎng)絡(luò)、初始邊緣方向分割網(wǎng)絡(luò)和初始底座分割網(wǎng)絡(luò)，所述初始預(yù)測網(wǎng)絡(luò)包括初始第一矢量預(yù)測網(wǎng)絡(luò)、初始第二矢量預(yù)測網(wǎng)絡(luò)和初始方向角預(yù)測網(wǎng)絡(luò)；分別獲取各個初始分割網(wǎng)絡(luò)的分割損失以及各個初始預(yù)測網(wǎng)絡(luò)的預(yù)測損失；對各個初始分割網(wǎng)絡(luò)的分割損失和各個初始預(yù)測網(wǎng)絡(luò)的預(yù)測損失進行求和，得到所述初始神經(jīng)網(wǎng)絡(luò)的損失；基于所述初始神經(jīng)網(wǎng)絡(luò)的損失對所述初始神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，得到所述神經(jīng)網(wǎng)絡(luò)。