[發明專利]多源異構數據融合的視覺處理方法、裝置、設備及介質

有效

• 申請號: 202211064053.0
• 申請日: 2022-08-29
• 公開（公告）號: CN115496976B
• 公開（公告）日: 2023-08-11
• 發明（設計）人: 何良雨;崔健;劉彤
• 申請（專利權）人: 鋒睿領創（珠海）科技有限公司
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/82;G06V10/74;G06N3/045;G06N3/048;G06N3/08
• 代理公司: 深圳眾鼎專利商標代理事務所(普通合伙) 44325
• 代理人: 譚果林

1.一種多源異構數據融合的視覺處理方法，其特征在于，包括：

獲取對檢測目標進行多源光學信息采集得到的多個異構光學數據；

分別對多個所述異構光學數據進行特征提取得到多類光學特征；

對所述多類光學特征進行多模態數據特征相似度計算，得到所述多類光學特征的相似度關系數據，并根據所述相似度關系數據對所述多類光學特征進行基于注意力機制的數據融合，得到所述檢測目標的光學融合特征；

基于所述光學融合特征對所述檢測目標進行視覺處理；

所述多類光學特征包括第一類光學特征和第二類光學特征，所述對所述多類光學特征進行多模態數據特征相似度計算，得到所述多類光學特征的相似度關系數據，并根據所述相似度關系數據對所述多類光學特征進行基于注意力機制的數據融合，得到所述檢測目標的光學融合特征，包括：

確定所述第一類光學特征是否包括多個子特征；

若所述第一類光學特征包括多個所述子特征，則基于所述第二類光學特征對每一所述子特征進行相似度計算，得到每一所述子特征的相似度矩陣，并將每一所述子特征的相似度矩陣匯總得到所述相似度關系數據；

采用第一激活函數對每一所述子特征的相似度矩陣進行激活，得到每一所述子特征的權重值；

根據每一所述子特征的權重值對多個所述子特征進行數據融合，得到所述檢測目標的光學融合特征。

2.如權利要求1所述的多源異構數據融合的視覺處理方法，其特征在于，多個所述子特征的圖像尺度依次增加，所述基于所述第二類光學特征對每一所述子特征進行相似度計算，得到每一所述子特征的相似度矩陣，包括：

對所述第二類光學特征和圖像尺度最小的第一個所述子特征進行相似度計算，得到第一個所述子特征的相似度矩陣；

對上一所述子特征的相似度矩陣進行上采樣，得到當前所述子特征對應的采樣特征；

對每一所述子特征和對應的所述采樣特征進行相似度計算，得到每一所述子特征的相似度矩陣。

3.如權利要求2所述的多源異構數據融合的視覺處理方法，其特征在于，所述第一激活函數為sigmoid函數，所述根據每一所述子特征的權重值對多個所述子特征進行數據融合，得到所述檢測目標的光學融合特征，包括：

將每一所述子特征分別與對應的所述權重值相乘，得到每一所述子特征對應的激活特征；

采用卷積操作對每一所述子特征對應的激活特征進行特征融合，得到所述光學融合特征。

4.如權利要求3所述的多源異構數據融合的視覺處理方法，其特征在于，每一所述子特征對應的激活特征通過如下公式計算得到：

其中，Q_m為表示多個所述子特征中第m個所述子特征的激活特征；A_m表示多個所述子特征中第m個所述子特征；表示矩陣相乘法；K_m表示多個所述子特征中第m個所述子特征的相似度矩陣；表示采用所述sigmoid函數激活第m個所述子特征的相似度矩陣得到的權重值。

5.如權利要求1所述的多源異構數據融合的視覺處理方法，其特征在于，所述確定所述第一類光學特征是否包括多個子特征之后，所述方法還包括：

若所述第一類光學特征未包括多個所述子特征，則對所述第一類光學特征與所述第二類光學特征進行相似度計算得到相似度矩陣，并將所述相似度矩陣作為所述相似度關系數據；

采用第二激活函數對所述相似度關系數據進行激活，得到目標權重值，并將所述目標權重值與所述第一類光學特征相乘，得到所述檢測目標的光學融合特征。

6.如權利要求1-5任一項所述的多源異構數據融合的視覺處理方法，其特征在于，多個所述異構光學數據包括第一類光學數據和第二類光學數據，所述分別對多個所述異構光學數據進行特征提取得到多類光學特征，包括：

獲取第一特征提取模型和第二特征提取模型，所述第一特征提取模型包括感受野不同的多個特征層；

將所述第一類光學數據輸入所述第一特征提取模型，依次通過多個所述特征層進行特征提取，并將各所述特征層分別輸出的子特征匯總得到第一類光學特征；

將所述第二類光學數據輸入所述第二特征提取模型進行特征處理，得到第二類光學特征。