[發(fā)明專利]建筑物三維輪廓提取及神經網絡的訓練方法和裝置

在審

• 申請?zhí)枺?/td>: 202110963024.7
• 申請日: 2021-08-20
• 公開（公告）號: CN113658203A
• 公開（公告）日: 2021-11-16
• 發(fā)明（設計）人: 孟令宣
• 申請（專利權）人: 上海商湯智能科技有限公司
• 主分類號: G06T7/13
• 分類號: G06T7/13;G06T7/12;G06T7/11;G06N3/08;G06N3/04
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 靳玫

1.一種建筑物三維輪廓提取方法，其特征在于，所述方法包括：

通過神經網絡對包括建筑物的單景影像進行處理，得到語義分割結果和偏移矢量預測結果，所述語義分割結果用于確定所述建筑物上的三維區(qū)域，所述偏移矢量預測結果用于確定所述建筑物的高度；

基于所述建筑物的語義分割結果和偏移矢量預測結果，對所述建筑物進行三維輪廓提取，得到所述建筑物的三維輪廓。

2.根據權利要求1所述的方法，其特征在于，所述語義分割結果包括用于確定建筑物邊緣的邊緣分割結果，以及用于確定建筑物上各區(qū)域的區(qū)域分割結果；

所述偏移矢量預測結果包括所述建筑物的屋頂區(qū)域和側面的像素點的偏移矢量。

3.根據權利要求2所述的方法，其特征在于，所述語義分割結果還包括以下至少一者：

用于確定所述建筑物的邊緣方向的邊緣方向分割結果；

用于確定建筑物底座區(qū)域的底座分割結果；

和/或

所述偏移矢量預測結果還包括以下至少一者：

所述單景影像中建筑物的平均偏移方向角；

所述建筑物的底座區(qū)域的像素點的偏移矢量，其中，所述底座區(qū)域的任意一個第二像素點的偏移矢量為所述第二像素點指向所述第二像素點在所述屋頂區(qū)域對應的第一像素點的矢量。

4.根據權利要求1-3任一所述的方法，其特征在于，所述語義分割結果包括用于確定建筑物底座區(qū)域的底座分割結果，以及用于確定建筑物上各區(qū)域的區(qū)域分割結果，所述三維區(qū)域包括建筑物的屋頂區(qū)域；所述偏移矢量預測結果包括第一像素點的偏移矢量，所述第一像素點為所述屋頂區(qū)域的像素點；

所述神經網絡基于以下方式獲取所述底座分割結果：

針對每個第一像素點，基于所述第一像素點的偏移矢量對所述第一像素點進行平移，得到所述第一像素點對應的第二像素點；

基于各個第一像素點對應的第二像素點確定所述底座分割結果。

5.根據權利要求1-4任一所述的方法，其特征在于，所述神經網絡包括多個語義分割網絡和多個預測網絡，所述多個語義分割網絡包括：

用于確定建筑物邊緣的邊緣分割網絡；

用于確定建筑物上各區(qū)域的區(qū)域分割網絡；

用于確定所述建筑物的邊緣方向的邊緣方向分割網絡；

用于確定建筑物底座區(qū)域的底座分割網絡；

所述多個預測網絡包括：

用于確定所述建筑物的屋頂區(qū)域和側面的像素點的偏移矢量的第一矢量預測網絡；

用于確定所述建筑物的底座區(qū)域的像素點的偏移矢量的第二矢量預測網絡；

用于確定所述單景影像中建筑物的平均偏移方向角的方向角預測網絡。

6.根據權利要求5所述的方法，其特征在于，所述方法還包括：

通過初始神經網絡對樣本影像進行處理，所述初始神經網絡包括多個初始分割網絡和多個初始預測網絡，所述多個初始分割網絡包括初始邊緣分割網絡、初始區(qū)域分割網絡、初始邊緣方向分割網絡和初始底座分割網絡，所述初始預測網絡包括初始第一矢量預測網絡、初始第二矢量預測網絡和初始方向角預測網絡；

分別獲取各個初始分割網絡的分割損失以及各個初始預測網絡的預測損失；

對各個初始分割網絡的分割損失和各個初始預測網絡的預測損失進行求和，得到所述初始神經網絡的損失；

基于所述初始神經網絡的損失對所述初始神經網絡進行訓練，得到所述神經網絡。

7.根據權利要求1-6任一所述的方法，其特征在于，所述方法還包括：

基于所述語義分割結果確定模板和目標域；

基于所述偏移矢量預測結果確定平移向量，基于所述平移向量對所述模板進行平移，并確定平移后所述模板與所述目標域之間的匹配度；

基于所述匹配度對所述偏移矢量預測結果進行優(yōu)化，得到優(yōu)化后的偏移矢量預測結果；

所述基于所述建筑物的語義分割結果和偏移矢量預測結果，對所述建筑物進行三維輪廓提取，包括：

基于所述建筑物的語義分割結果和優(yōu)化后的偏移矢量預測結果，對所述建筑物進行三維輪廓提取。