[發明專利]一種航拍圖像中車輛檢測和分割的方法及系統

有效

• 申請號: 202010435151.5
• 申請日: 2020-05-21
• 公開（公告）號: CN111598030B
• 公開（公告）日: 2023-06-16
• 發明（設計）人: 劉春生;張旺;常發亮;李爽
• 申請（專利權）人: 山東大學
• 主分類號: G06V20/58
• 分類號: G06V20/58;G06V10/26;G06V10/80;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 李琳

本公開提供了一種航拍圖像中車輛檢測和分割的方法及系統，利用深度卷積神經網絡提取遙感圖像的特征圖，根據特征圖的不同尺度大小，構建出特征金字塔；對原始特征金字塔網絡中多層特征進行自適應特征融合，輸出新的多尺度特征圖；利用區域提議網絡，從多尺度特征中提取出不同尺度對應的感興趣區域；將感興趣區域送入基于注意力機制的三頭網絡進行進分類，邊界框回歸以及掩膜分割，得到分類結果，水平邊界框回歸結果和掩膜分割結果。本公開能夠顯著地改善車輛檢測和分割效果，具有較高的精度和魯棒性。

技術領域

本公開屬于圖像處理技術領域，具體涉及一種航拍圖像中車輛檢測和分割的方法及系統。

背景技術

本部分的陳述僅僅是提供了與本公開相關的背景技術信息，不必然構成在先技術。

隨著自動化設備的飛速發展，交通監控等應用場景的檢測技術也隨之高速發展。目前在交通監控過程中，利用飛行器、無人機等設備獲取圖片/圖像已經是非常常見的現象。

然而，據發明人了解，處理無人機獲取的圖像以提取有效的車輛信息存在一些挑戰，這些挑戰包括：

采集的車輛存在任意方向：由于視點變化和高度變化，航拍圖像中的車輛通常以任意方向出現。

圖像巨大的比例變化：隨著無人機巡航高度的變化，無人機拍攝圖像中的車輛的比例會發生很大變化。

圖像中目標存在部分遮擋：在某些情況下擁擠的車輛具有相似的結構和顏色，很難將擁擠且相互遮擋的車輛分開。

目前的圖像處理技術在解決上述問題上均存在一定的難度。

發明內容

本公開為了應對上述問題，提出了一種航拍圖像中車輛檢測和分割的方法及系統，本公開能夠顯著地改善車輛檢測和分割效果，具有較高的精度和魯棒性。

根據一些實施例，本公開采用如下技術方案：

一種航拍圖像中車輛檢測和分割的方法，包括以下步驟：

利用深度卷積神經網絡提取遙感圖像的特征圖，根據特征圖的不同尺度大小，構建出特征金字塔；

對原始特征金字塔網絡中多層特征進行自適應特征融合，輸出新的多尺度特征圖；

利用區域提議網絡，從多尺度特征中提取出不同尺度對應的感興趣區域；

將感興趣區域送入基于注意力機制的三頭網絡進行進分類，邊界框回歸以及掩膜分割，得到分類結果，水平邊界框回歸結果和掩膜分割結果。

作為可選擇的實施方式，構建出特征金字塔的具體步驟包括：

將殘差網絡作為骨干網絡，其前饋計算是通過自上而下的路徑執行，使用殘差網絡每個階段的最后一層網絡輸出構建包含多尺度特征圖的特征金字塔。

作為可選擇的實施方式，對原始特征金字塔網絡中多層特征進行自適應特征融合的步驟包括：

構建多尺度特征自適應融合網絡，以從不同層次的特征中選擇所需特征，并集成這些特征以增強特征金字塔的原始特征，多尺度特征圖通過雙線性插值或自適應平均池化重新縮放為相同尺寸大小，將縮放后的不同比例特征圖合并，得到合并后的特征圖，引入門控機制以進一步捕獲不同尺度特征之間的通道相關性，使用sigmoid函數激活得到不同尺度特征的通道權重，將不同尺度特征的通道權重與重新縮放的特征圖進行通道級別的乘法操作，逐元素求和操作用于重新加權后的不同尺度的特征得到集成特征圖，對集成特征圖進行重新縮放，并增強原始金字塔特征，獲得最終輸出金字塔特征。

作為可選擇的實施方式，從多尺度特征中提取出不同尺度對應的感興趣區域的具體過程包括：

經過區域提議網絡的得到的感興趣區域首先通過RoIAlign網絡層進行歸一化，得到固定的大小的感興趣區域。