[發明專利]一種航拍圖像中車輛檢測和分割的方法及系統

有效

• 申請號: 202010435151.5
• 申請日: 2020-05-21
• 公開（公告）號: CN111598030B
• 公開（公告）日: 2023-06-16
• 發明（設計）人: 劉春生;張旺;常發亮;李爽
• 申請（專利權）人: 山東大學
• 主分類號: G06V20/58
• 分類號: G06V20/58;G06V10/26;G06V10/80;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 李琳

1.一種航拍圖像中車輛檢測和分割的方法，其特征是：包括以下步驟：

利用深度卷積神經網絡提取遙感圖像的特征圖，根據特征圖的不同尺度大小，構建出特征金字塔；

對特征金字塔網絡中多層特征進行自適應特征融合，輸出新的多尺度特征圖；

利用區域提議網絡，從多尺度特征中提取出不同尺度對應的感興趣區域；

將感興趣區域送入基于注意力機制的三頭網絡進行進分類，邊界框回歸以及掩膜分割，得到分類結果，水平邊界框回歸結果和掩膜分割結果，所述基于注意力機制的三頭網絡，具有三個獨立工作的子網，包括分類分支、基于注意力機制的邊界框回歸分支和基于注意力機制的掩膜分割分支。

2.如權利要求1所述的一種航拍圖像中車輛檢測和分割的方法，其特征是：構建出特征金字塔的具體步驟包括：

將殘差網絡作為骨干網絡，其前饋計算是通過自上而下的路徑執行，使用殘差網絡每個階段的最后一層網絡輸出構建包含多尺度特征圖的特征金字塔。

3.如權利要求1所述的一種航拍圖像中車輛檢測和分割的方法，其特征是：對原始特征金字塔網絡中多層特征進行自適應特征融合的步驟包括：

構建多尺度特征自適應融合網絡，以從不同層次的特征中選擇所需特征，并集成這些特征以增強特征金字塔的原始特征，多尺度特征圖通過雙線性插值或自適應平均池化重新縮放為相同尺寸大小，將縮放后的特征圖衡量不同比例的特征的重要性，并根據學習到的權重集成不同尺度的特征。

4.如權利要求3所述的一種航拍圖像中車輛檢測和分割的方法，其特征是：將縮放后的特征圖衡量不同比例的特征的重要性，并根據學習到的權重集成不同尺度的特征的具體步驟包括：

將縮放后的不同比例特征圖合并，得到合并后的特征圖，對合并后的特征圖應用全局平均池化操作，然后使用卷積層，并引入門控機制以進一步捕獲不同尺度特征之間的通道相關性，將不同尺度特征的通道權重與重新縮放的特征圖進行通道級別的乘法操作，逐元素求和操作用于重新加權后的不同尺度的特征得到集成特征圖，對集成特征圖進行重新縮放，并增強原始金字塔特征，獲得最終輸出金字塔特征。

5.如權利要求1所述的一種航拍圖像中車輛檢測和分割的方法，其特征是：從多尺度特征中提取出不同尺度對應的感興趣區域的具體過程包括：

經過區域提議網絡的得到的感興趣區域首先通過RoIAlign網絡層進行歸一化，得到固定的大小的感興趣區域。

6.如權利要求1所述的一種航拍圖像中車輛檢測和分割的方法，其特征是：所述分類分支由兩個全連接層組成；感興趣區域特征圖輸入到分類分支，得到概率，分類分支的的損失函數是交叉熵損失函數，對于每個感興趣區域，基于所述概率，計算分類損失。

7.如權利要求1所述的一種航拍圖像中車輛檢測和分割的方法，其特征是：所述基于注意力機制的邊界框回歸分支，通過RoIAlign得到7×7分辨率的感興趣區域的特征后，這些特征將依次送入入4個3×3卷積層和1個注意力模塊中，使用全連接層來輸出預測的元組；

或，所述基于注意力機制的掩膜分割分支，感興趣區域的特征將依次送入四個3×3卷積層和注意力模塊，一個2×2的反卷積將特征圖上采樣設定值的分辨率，掩膜分割分支的損失函數定義為分割結果和相應的真實掩膜之間的交叉熵損失函數。