[發(fā)明專利]一種基于UVid-Net的無人機(jī)航拍視頻的語義分割方法

在審

• 申請?zhí)枺?/td>: 202110257662.7
• 申請日: 2021-03-09
• 公開（公告）號: CN113095136A
• 公開（公告）日: 2021-07-09
• 發(fā)明（設(shè)計）人: 潘曉光;陳亮;董虎弟;宋曉晨;張雅娜
• 申請（專利權(quán)）人: 山西三友和智慧信息技術(shù)股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 深圳科潤知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44724
• 代理人: 李小妮

1.一種基于UVid-Net的無人機(jī)航拍視頻的語義分割方法，其特征在于：包括下列步驟：

S100、數(shù)據(jù)采集：收集用于無人機(jī)視頻語義分割的數(shù)據(jù)集，并對其類別進(jìn)行像素級標(biāo)注，完成模型訓(xùn)練所需數(shù)據(jù)集的構(gòu)建；

S200、數(shù)據(jù)預(yù)處理：預(yù)處理包括歸一化、數(shù)據(jù)劃分和圖像縮放等，并且擴(kuò)增數(shù)據(jù)集，保證模型訓(xùn)練效果；

S300、識別模型：構(gòu)建基于UVid-Net的語義分割模型，輸入訓(xùn)練數(shù)據(jù)，完成參數(shù)模型的搭建；

S400、模型保存：當(dāng)模型的損失函數(shù)不再降低之后，保存模型；

S500、模型評價：通過多種評價指標(biāo)對模型的分割結(jié)果進(jìn)行性能評估。

2.如權(quán)利要求1所述的一種基于UVid-Net的無人機(jī)航拍視頻的語義分割方法，其特征在于，步驟S100數(shù)據(jù)收集的具體步驟為：收集多種用于無人機(jī)視頻語義分割的擴(kuò)展版本ManipalUAVid數(shù)據(jù)集，所述數(shù)據(jù)集包括多個視頻，并為視頻的關(guān)鍵幀提供了標(biāo)注，且對綠化、建筑、道路、水體四個背景類進(jìn)行像素級標(biāo)注。

3.如權(quán)利要求1所述的一種基于UVid-Net的無人機(jī)航拍視頻的語義分割方法，其特征在于，步驟S200中，具體步驟包括：歸一化，對所有數(shù)據(jù)進(jìn)行歸一化操作，統(tǒng)一量綱，方便模型訓(xùn)練

其中x′為歸一化后的數(shù)據(jù)集，x為未處理的數(shù)據(jù)集。

數(shù)據(jù)劃分：將數(shù)據(jù)集按照7：2：1的比例分為訓(xùn)練集、驗(yàn)證集與測試集，訓(xùn)練集用于模型的訓(xùn)練，驗(yàn)證集用于檢測模型損失是否繼續(xù)下降，測試集用于測試模型效果；

圖像縮放：由于獲取的原始圖像數(shù)據(jù)集中的圖像大小不固定，故將數(shù)據(jù)集劃分后得到的所有數(shù)據(jù)進(jìn)行縮放，以便輸入模型，將其按照大小比例全部調(diào)整為1280×720的像素尺寸大小；

數(shù)據(jù)擴(kuò)充：通過將收集的兩種用于無人機(jī)視頻語義分割的數(shù)據(jù)集進(jìn)行融合，形成新的擴(kuò)展ManipalUAVid數(shù)據(jù)集，該數(shù)據(jù)集通過合并兩個數(shù)據(jù)集得到更多的視頻數(shù)據(jù)，且每個視頻中包含更多的幀，這有助于評估視頻語義分割模型的時間一致性。

4.如權(quán)利要求3所述的一種基于UVid-Net的無人機(jī)航拍視頻的語義分割方法，其特征在于，S300中還包括模型構(gòu)建：構(gòu)建基于UVid-Net的網(wǎng)絡(luò)模型對無人機(jī)航拍視頻進(jìn)行語義分割，通過將兩幀和作為網(wǎng)絡(luò)模型的輸入，之后對進(jìn)行語義分割，所述模型分為編碼和解碼兩個模塊，在編碼階段通過兩種不同的結(jié)構(gòu)U-Net和ResNet-5分別進(jìn)行特征提取，其中U-Net編碼器由卷積層和maxpool層組成，用于特征提取，該編碼器的上分支包含四個模塊，所述上分支模塊由兩個連續(xù)的3×3卷積層組成，其中包括batch歸一化和ReLU激活函數(shù)，之后，激活過程通過一個1個1×1的卷積層用于減少特征圖的維數(shù)，最后，maxpooling層用于提取最顯著的特征用于后續(xù)的層，且每次進(jìn)行最大池化操作后，特征映射的數(shù)量會增加一倍，編碼器的下分支也由四個模塊組成，所述下支各模塊各有一組帶有batch歸一化和ReLU激活函數(shù)的3×3卷積層和maxpooling層，所述maxpooling層提取最顯著的特征，且與上面的分支類似，每次最大池化操作后，特性映射的數(shù)量都會增加一倍。

5.如權(quán)利要求4所述的一種基于UVid-Net的無人機(jī)航拍視頻的語義分割方法，其特征在于，編碼器上下分支提取的特征被輸入到兩個單獨(dú)的瓶頸層，最后，這兩個分支的激活被連接起來，并提供給解碼器；而ResNet-50特征提取器由殘余塊組成，有助于緩解消失的梯度，該架構(gòu)由初始的核大小(7x7)卷積操作，然后是批處理歸一化層和ReLU激活函數(shù)組成。

6.如權(quán)利要求1所述的一種基于UVid-Net的無人機(jī)航拍視頻的語義分割方法，其特征在于，S400中，當(dāng)模型的損失函數(shù)不再降低之后，保存模型，而損失函數(shù)通過使用交叉熵?fù)p失函數(shù)來進(jìn)行計算，其公式如下：

其中yi表示樣本i的標(biāo)簽，pi表示樣本i預(yù)測正確的概率，N表示類別個數(shù)。

7.如權(quán)利要求1所述的一種基于UVid-Net的無人機(jī)航拍視頻的語義分割方法，其特征在于，S500中，通過計算以下多種評價指標(biāo)來評估模型分割結(jié)果的性能，如：交集均值(mIoU)、精度(Precision)、召回率(Recall)和F1-Score，其公式如下：

其中，TP、FP、TN和FN分別表示真陽性、假陽性、真陰性和假陰性預(yù)測。