[發明專利]一種基于UVid-Net的無人機航拍視頻的語義分割方法

在審

• 申請號: 202110257662.7
• 申請日: 2021-03-09
• 公開（公告）號: CN113095136A
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 潘曉光;陳亮;董虎弟;宋曉晨;張雅娜
• 申請（專利權）人: 山西三友和智慧信息技術股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 深圳科潤知識產權代理事務所(普通合伙) 44724
• 代理人: 李小妮

本發明屬于語義分割技術領域，具體涉及一種基于UVid?Net的無人機航拍視頻的語義分割方法，包括如下步驟：數據采集：收集用于無人機視頻語義分割的數據集，并對其類別進行像素級標注，完成模型訓練所需數據集的構建；數據預處理：預處理包括歸一化、數據劃分和圖像縮放等，并且擴增數據集，保證模型訓練效果；識別模型：構建基于UVid?Net的語義分割模型，輸入訓練數據，完成參數模型的搭建；模型保存：當模型的損失函數不再降低之后，保存模型；模型評價：通過多種評價指標對模型的分割結果進行性能評估。本發明的編碼路徑通過從多幀中提取特征來捕捉視頻的時間動態，可以用于保留編碼器層的特征，提高語義分割性能。

技術領域

本發明屬于語義分割技術領域，具體涉及一種基于UVid-Net的無人機航拍視頻的語義分割方法。

背景技術

航空圖像分析已用于評估自然災害后的立即損害。通常，航空圖像是由衛星上的合成孔徑雷達(SAR)、超光譜成像等不同成像方式捕獲的。近年來，無人機(UAV)也被廣泛應用于災害管理、城市規劃、野生動物跟蹤、農業規劃等各種應用。由于快速部署和定制的飛行路徑，無人機圖像/視頻，可以提供額外更精細的細節和補充基于衛星的圖像分析方法的關鍵應用，如災害響應。此外，無人機圖像可以與衛星圖像結合使用，以更好地進行城市規劃或地理信息更新。然而，無人機圖像/視頻分析僅限于目標檢測和識別任務，如建筑物檢測、道路分割等，目前針對無人機圖像或視頻的語義分割工作還很有限。

現有技術存在的問題或者缺陷：目前的語義分割是將預先確定的類標簽分配給圖像中所有像素的過程。然而，擴展視頻應用的語義分割過程中如何整合時間信息還存在一定的困難。

發明內容

針對上述問題，本申請提供一種基于UVid-Net的無人機航拍視頻的語義分割方法，收集用于無人機視頻語義分割的擴展版本ManipalUAVid數據集，并對綠化、建筑、道路、水體四個背景類進行像素級標注。完成數據收集后，對數據進行預處理，預處理包括分割，加噪。將預處理后的數據輸入搭建好的UVid-Net網絡中進行網絡模型的訓練，待到模型損失函數不再下降，保存模型，完成模型構建，并通過多種評價方法對模型進行性能評估。本發明采用的技術方案為：

一種基于UVid-Net的無人機航拍視頻的語義分割方法，包括下列步驟：

S100、數據采集：收集用于無人機視頻語義分割的數據集，并對其類別進行像素級標注，完成模型訓練所需數據集的構建；

S200、數據預處理：預處理包括歸一化、數據劃分和圖像縮放等，并且擴增數據集，保證模型訓練效果；

S300、識別模型：構建基于UVid-Net的語義分割模型，輸入訓練數據，完成參數模型的搭建；

S400、模型保存：當模型的損失函數不再降低之后，保存模型；

S500、模型評價：通過多種評價指標對模型的分割結果進行性能評估。

進一步的，步驟S100數據收集的具體步驟為：收集多種用于無人機視頻語義分割的擴展版本ManipalUAVid數據集，所述數據集包括多個視頻，并為視頻的關鍵幀提供了標注，且對綠化、建筑、道路、水體四個背景類進行像素級標注。

進一步的，步驟S200中，具體步驟包括：歸一化，對所有數據進行歸一化操作，統一量綱，方便模型訓練

其中x′為歸一化后的數據集，x為未處理的數據集。

數據劃分：將數據集按照7：2：1的比例分為訓練集、驗證集與測試集，訓練集用于模型的訓練，驗證集用于檢測模型損失是否繼續下降，測試集用于測試模型效果；

圖像縮放：由于獲取的原始圖像數據集中的圖像大小不固定，故將數據集劃分后得到的所有數據進行縮放，以便輸入模型，將其按照大小比例全部調整為1280×720的像素尺寸大小；