[發明專利]網絡訓練與圖像處理方法、裝置、設備和存儲介質

在審

• 申請號: 202110602236.2
• 申請日: 2021-05-31
• 公開（公告）號: CN113344195A
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 王金旺
• 申請（專利權）人: 上海商湯智能科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 張相欽

本申請提出一種網絡訓練與圖像處理方法、裝置、設備和存儲介質。其中，所述方法可以包括：利用偏移量提取網絡，獲得與多種預設角度分別對應的偏移量；所述偏移量指示樣本圖像中屋頂與底座之間的偏移量；所述樣本圖像包括第一偏移量真實信息；所述多種預設角度用于旋轉樣本圖像或所述樣本圖像對應的圖像特征；將所述第一偏移量真實信息分別旋轉所述多種預設角度，得到與所述多種預設角度分別對應的第二偏移量真實信息；利用與所述多種預設角度分別對應的第二偏移量真實信息和獲得的偏移量，調整所述偏移量提取網絡的網絡參數。

技術領域

本申請涉及計算機技術領域，具體涉及一種網絡訓練與圖像處理方法、裝置、設備和存儲介質。

背景技術

隨著城市化率的逐步提高，需要對建筑物進行及時統計以完成城市規劃、地圖繪制和建筑物變化監測等任務。

目前，主要通過統計建筑物底座進行建筑物統計。其中，在統計建筑物底座時，需要先利用基于神經網絡生成的偏移量提取網絡提取出表征屋頂與底座之間位移的偏移量以及利用屋頂提取網絡提取出建筑物屋頂，然后利用所述偏移量對所述屋頂進行變換得到底座。

然而數據的標注成本很高，因此無法獲取大量包括偏移量真實信息的標注樣本，而使用少量的有標注樣本難以訓練出高精度的偏移量提取網絡。

發明內容

有鑒于此，本申請至少公開一種神經網絡訓練方法。該方法可以包括：利用偏移量提取網絡，獲得與多種預設角度分別對應的偏移量；所述偏移量指示樣本圖像中屋頂與底座之間的偏移量；所述樣本圖像包括第一偏移量真實信息；所述多種預設角度用于旋轉樣本圖像或所述樣本圖像對應的圖像特征；將所述第一偏移量真實信息分別旋轉所述多種預設角度，得到與所述多種預設角度分別對應的第二偏移量真實信息；利用與所述多種預設角度分別對應的第二偏移量真實信息和獲得的偏移量，調整所述偏移量提取網絡的網絡參數。

在示出的一些實施方式中，所述利用偏移量提取網絡，獲得與多種預設角度分別對應的偏移量，包括：利用偏移量提取網絡，將所述樣本圖像對應的第一圖像特征分別旋轉多種預設角度，得到與所述多種預設角度分別對應的第二圖像特征；基于所述第二圖像特征，得到與所述多種預設角度分別對應的偏移量。

在示出的一些實施方式中，所述利用偏移量提取網絡，將所述樣本圖像對應的第一圖像特征分別旋轉多種預設角度，得到與所述多種預設角度分別對應的第二圖像特征，包括：針對所述多種預設角度中的每一角度，利用所述偏移量提取網絡包括的與所述角度對應的空間變換網絡，將所述第一圖像特征旋轉所述角度，得到與所述角度對應的第二圖像特征。

在示出的一些實施方式中，所述空間變換網絡包括基于插值方式進行圖像旋轉的采樣器；其中，所述采樣器包括基于所述空間變換網絡對應的預設角度確定的采樣網格；所述采樣網格表征第一圖像特征與第二圖像特征之間的像素點對應關系；利用所述空間變換網絡將所述第一圖像特征旋轉預設角度，得到與所述預設角度對應的第二圖像特征，包括：通過所述采樣器，利用所述采樣網格，確定所述第一圖像特征中，與第二圖像特征中各像素點分別對應的多個像素點，并基于插值方式對所述多個像素點的像素值進行映射，得到第二圖像特征中各像素點分別對應的像素值。

在示出的一些實施方式中，所述利用與所述多種預設角度分別對應的第二偏移量真實信息和獲得的偏移量，調整所述偏移量提取網絡的網絡參數，包括：根據與所述多種預設角度分別對應的第二偏移量真實信息和獲得的偏移量，得到與所述多種預設角度分別對應的偏移量損失信息；基于與所述多種預設角度分別對應的偏移量損失信息之和，調整所述偏移量提取網絡的網絡參數。

在示出的一些實施方式中，所述樣本圖像還包括屋頂區域真實信息；所述方法還包括：利用屋頂區域提取網絡，獲得所述圖像樣本中的屋頂區域；其中，所述屋頂區域提取網絡與所述偏移量提取網絡共享特征提取網絡，并且屬于同一底座區域提取網絡；所述底座區域提取網絡用于基于獲得的屋頂區域與偏移量得到底座區域；基于所述屋頂區域真實信息以及獲得的屋頂區域，對所述屋頂區域提取網絡進行訓練。