[發明專利]一種基于異構深度特征的多模態地基云識別方法

有效

• 申請號: 202010050031.3
• 申請日: 2020-01-16
• 公開（公告）號: CN111242227B
• 公開（公告）日: 2023-05-23
• 發明（設計）人: 劉爽;段林林;張重
• 申請（專利權）人: 天津師范大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 北京中政聯科專利代理事務所(普通合伙) 11489
• 代理人: 陳超

本發明實施例公開了一種基于異構深度特征的多模態地基云識別方法，所述方法包括：對多模態地基云樣本進行預處理，得到訓練多模態地基云樣本；將訓練多模態地基云樣本輸入至異構深度特征網絡訓練模型中，訓練得到異構深度特征網絡；基于異構深度特征網絡提取得到訓練多模態地基云樣本的異構深度特征，串聯得到訓練多模態地基云樣本的最終特征表示；訓練支持向量機分類器，得到多模態地基云分類模型；獲取測試多模態地基云樣本的最終特征表示，輸入至多模態地基云分類模型中，得到多模態地基云識別結果。本發明利用卷積神經網絡和圖卷積神經網絡進行特征提取，能夠有效挖掘視覺信息、多模態信息以及樣本間的相關性信息，提高地基云分類正確率。

技術領域

本發明屬于模式識別、人工智能技術領域，具體涉及一種基于異構深度特征的多模態地基云識別方法。

背景技術

云的體積、厚度和形狀變化對全球范圍內的水文循環和能量平衡有著重大的影響。因此許多研究者著力于云觀測方面的研究。其中，由于云的形狀千變萬化并且邊界總是模糊不明確，使得云分類富有挑戰性。用人力對云分類耗時耗力，并且分類結果含有主觀判斷誤差。因此，需要提出更加準確高效的自動地基云識別方法。

傳統的自動地基云識別方法通常提取地基云圖的紋理、形狀和顏色等信息。Isosalo等人提出利用局部二值模式和局部邊緣模式提取地基云圖的局部紋理信息，利用提取的局部紋理特征來進行云類型的預測。除了提取云圖的紋理信息，Zhuo等人提出了顏色統計轉換和自動分塊的方法同時提取云的紋理信息和結構信息。隨著卷積神經網絡在各個領域的廣泛應用與發展，其也被應用到地基云的分類任務中，并且取得了相對傳統方法更好的分類結果。Shi等人利用淺層的卷積神經網絡提取地基云圖的局部紋理信息對地基云圖進行分類。Zhao等人提出3D-CNN模型提取地基云圖的紋理信息和時間變化信息對地基云圖像進行分類。

以上所提到的自動地基云識別方法主要利用地基云的視覺信息，但是云的形成與多種因素密切相關，這些因素包括溫度、濕度、氣壓和風速等，可以將這些因素定義為多模態信息。Liu等人提出分層多模態融合方法，將多模態信息和地基云圖同時輸入到基于卷積神經網絡的模型中分別提取深度視覺特征和深度多模態特征，并將兩種深度特征進行不同層次的融合得到多模態地基云的最終表示。通過將多模態信息應用到地基云的自動分類任務中，使得地基云最終的特征表示更加完備。

發明內容

本發明的目的是要解決多模態地基云識別問題，為此，本發明提供一種基于異構深度特征的多模態地基云識別方法。

為了實現所述目的，本發明提出一種基于異構深度特征的多模態地基云識別方法，所述方法包括以下步驟：

步驟S1，對多模態地基云樣本進行預處理，得到訓練多模態地基云樣本其中，所述訓練多模態地基云樣本包括異構深度特征網絡的視覺信息輸入和多模態信息輸入；

步驟S2，將所述訓練多模態地基云樣本輸入至異構深度特征網絡訓練模型中，訓練得到異構深度特征網絡；

步驟S3，基于所述異構深度特征網絡提取得到所述訓練多模態地基云樣本的異構深度特征，并將得到的異構深度特征進行串聯得到所述訓練多模態地基云樣本的最終特征表示；

步驟S4，基于所述訓練多模態地基云樣本的最終特征表示訓練支持向量機分類器，得到多模態地基云分類模型；

步驟S5，獲取測試多模態地基云樣本的最終特征表示，將其輸入至所述多模態地基云分類模型中，得到多模態地基云識別結果。

可選地，所述步驟S1包括以下步驟：

步驟S11，對所述多模態地基云樣本中的地基云圖進行預處理，得到異構深度特征網絡的視覺信息輸入；

步驟S12，對所述多模態地基云樣本中的多模態信息進行預處理，得到所述異構深度特征網絡的多模態信息輸入。

可選地，所述步驟S11包括以下步驟：