[發明專利]一種基于異構深度特征的多模態地基云識別方法

有效

• 申請號: 202010050031.3
• 申請日: 2020-01-16
• 公開（公告）號: CN111242227B
• 公開（公告）日: 2023-05-23
• 發明（設計）人: 劉爽;段林林;張重
• 申請（專利權）人: 天津師范大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 北京中政聯科專利代理事務所(普通合伙) 11489
• 代理人: 陳超

1.一種基于異構深度特征的多模態地基云識別方法，其特征在于，該方法包括以下步驟：

步驟S1，對多模態地基云樣本進行預處理，得到訓練多模態地基云樣本，其中，所述訓練多模態地基云樣本包括異構深度特征網絡的視覺信息輸入和多模態信息輸入；

步驟S2，將所述訓練多模態地基云樣本輸入至異構深度特征網絡訓練模型中，訓練得到異構深度特征網絡；

步驟S3，基于所述異構深度特征網絡提取得到所述訓練多模態地基云樣本的異構深度特征，并將得到的異構深度特征進行串聯得到所述訓練多模態地基云樣本的最終特征表示；

步驟S4，基于所述訓練多模態地基云樣本的最終特征表示訓練支持向量機分類器，得到多模態地基云分類模型；

步驟S5，獲取測試多模態地基云樣本的最終特征表示，將其輸入至所述多模態地基云分類模型中，得到多模態地基云識別結果；

所述步驟S2包括以下步驟：

步驟S21，構建異構深度特征網絡，其中，所述異構深度特征網絡包括卷積神經網絡提取器、圖卷積神經網絡提取器、串聯器和分類器；

步驟S22，初始化所述異構深度特征網絡中的參數，得到異構深度特征網絡訓練模型；

步驟S23，將所述訓練多模態地基云樣本輸入至所述異構深度特征網絡訓練模型中，訓練得到異構深度特征網絡；

所述步驟S21包括以下步驟：

步驟S211，構建卷積神經網絡提取器，以地基云圖和多模態信息作為輸入，得到基于卷積神經網絡的深度特征，其中，所述卷積神經網絡提取器包括視覺子網絡、多模態子網絡、融合層和全連接層；

步驟S212，構建圖卷積神經網絡提取器，其中，所述圖卷積神經網絡提取器包括以所述基于卷積神經網絡的深度特征為基礎構建的圖和鄰接矩陣，以及Q層圖卷積層，以所述構建的圖中節點的集合和鄰接矩陣作為輸入，得到基于圖卷積神經網絡的深度特征，其中，所述構建的圖由N個節點和連接節點的邊組成，所述鄰接矩陣用于表示節點間關系的強弱性；

步驟S213，構建串聯器，將所述基于卷積神經網絡的深度特征和基于圖卷積神經網絡的深度特征進行串聯，得到所述訓練多模態地基云樣本的最終特征表示；

步驟S214，構建分類器，其中，所述分類器包括全連接層和損失函數。

2.根據權利要求1所述的方法，其特征在于，所述步驟S1包括以下步驟：

步驟S11，對所述多模態地基云樣本中的地基云圖進行預處理，得到異構深度特征網絡的視覺信息輸入；

步驟S12，對所述多模態地基云樣本中的多模態信息進行預處理，得到所述異構深度特征網絡的多模態信息輸入。

3.根據權利要求2所述的方法，其特征在于，所述步驟S11包括以下步驟：

步驟S111，將所述多模態地基云樣本中的地基云圖改變為預設大小，得到改變大小的地基云圖；

步驟S112，對所述改變大小的地基云圖進行歸一化處理，得到歸一化地基云圖；

步驟S113，對所述歸一化地基云圖分別進行水平翻轉、垂直翻轉和隨機旋轉。

4.根據權利要求2或3所述的方法，其特征在于，所述步驟S12包括以下步驟：

步驟S121，獲取所述多模態地基云樣本中的多模態信息；

步驟S122，將所述多模態信息的值進行歸一化，得到所述異構深度特征網絡的多模態信息輸入。

5.根據權利要求1所述的方法，其特征在于，所述步驟S23中，還采用反向傳播和隨機梯度下降法優化所述異構深度特征網絡訓練模型。

6.根據權利要求1所述的方法，其特征在于，所述步驟S3包括以下步驟：

步驟S31，將所述訓練多模態地基云樣本輸入至所述異構深度特征網絡中；

步驟S32，提取所述異構深度特征網絡中串聯器的輸出特征作為所述訓練多模態地基云樣本的最終特征表示。

7.根據權利要求1所述的方法，其特征在于，所述步驟S4中，將所述訓練多模態地基云樣本的最終特征表示以及對應類別標簽輸入至支持向量機分類器中，得到所述多模態地基云分類模型。