[發(fā)明專利]多源異構數(shù)據融合的視覺處理方法、裝置、設備及介質

有效

• 申請?zhí)枺?/td>: 202211064053.0
• 申請日: 2022-08-29
• 公開（公告）號: CN115496976B
• 公開（公告）日: 2023-08-11
• 發(fā)明（設計）人: 何良雨;崔健;劉彤
• 申請（專利權）人: 鋒睿領創(chuàng)（珠海）科技有限公司
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/82;G06V10/74;G06N3/045;G06N3/048;G06N3/08
• 代理公司: 深圳眾鼎專利商標代理事務所(普通合伙) 44325
• 代理人: 譚果林

本發(fā)明涉及人工智能領域，尤其涉及機器視覺領域，公開了一種多源異構數(shù)據融合的視覺處理方法、裝置、設備及介質，其中，方法包括：通過獲取對檢測目標進行多源光學信息采集得到的多個異構光學數(shù)據，并分別對多個異構光學數(shù)據進行特征提取得到多類光學特征；對多類光學特征進行多模態(tài)數(shù)據特征相似度計算，得到多類光學特征的相似度關系數(shù)據；根據相似度關系數(shù)據對多類光學特征進行基于注意力機制的數(shù)據融合，得到檢測目標的光學融合特征，并基于光學融合特征對檢測目標進行視覺處理；本發(fā)明通過建立不同類型的光學數(shù)據間的相似度關系，實現(xiàn)多源光學信息的有效融合，從而提升對微小缺陷紋理特征的提取能力，提高視覺檢測的準確率。

技術領域

本發(fā)明涉及人工智能領域，尤其涉及機器視覺領域，具體是一種多源異構數(shù)據融合的視覺處理方法、裝置、設備及介質。

背景技術

在工業(yè)制造中，尤其是對于半導體等微、納米級別的超高精度制造中，由于工藝或環(huán)境的影響，不可避免會產生各種缺陷，通常需要對工藝材料的品質進行檢測，以保證產品生產良率。視覺處理方法是目前常見的工藝缺陷檢測方法，其通常使用CMOS/CCD等圖像傳感器采集檢測目標的光強信息進行缺陷檢測。但是產品缺陷的種類繁多，僅依賴單一的光強信息并不能完全應對各種復雜缺陷。比如，一些尺寸比較微小、紋理相較背景并不突出的缺陷(縫隙、劃痕等)，其光強變化十分微弱，特征難以捕捉，缺陷檢測準確率也因而十分受限。

發(fā)明內容

本發(fā)明提供一種多源異構數(shù)據融合的視覺處理方法、裝置、設備及介質，以解決現(xiàn)有視覺處理方法依賴單一光強數(shù)據進行缺陷檢測，導致復雜缺陷檢測的準確率低下的問題。

提供一種多源異構數(shù)據融合的視覺處理方法，包括：

獲取對檢測目標進行多源光學信息采集得到的多個異構光學數(shù)據；

分別對多個異構光學數(shù)據進行特征提取得到多類光學特征；

對多類光學特征進行多模態(tài)數(shù)據特征相似度計算，得到多類光學特征的相似度關系數(shù)據，并根據相似度關系數(shù)據對多類光學特征進行基于注意力機制的數(shù)據融合，得到檢測目標的光學融合特征；

基于光學融合特征對檢測目標進行視覺處理。

提供一種多源異構數(shù)據融合的視覺處理裝置，包括：

獲取模塊，用于獲取對檢測目標進行多源光學信息采集得到的多個異構光學數(shù)據；

特征提取模塊，用于分別對多個異構光學數(shù)據進行特征提取得到多類光學特征；

融合模塊，用于對多類光學特征進行多模態(tài)數(shù)據特征相似度計算，得到多類光學特征的相似度關系數(shù)據，并根據相似度關系數(shù)據對多類光學特征進行基于注意力機制的數(shù)據融合，得到檢測目標的光學融合特征；

視覺處理模塊，用于基于光學融合特征對檢測目標進行視覺處理。

提供一種計算機設備，包括存儲器、處理器以及存儲在存儲器中并可在處理器上運行的計算機程序，其特征在于，處理器執(zhí)行計算機程序時實現(xiàn)上述多源異構數(shù)據融合的視覺處理方法的步驟。

提供一種計算機可讀存儲介質，計算機可讀存儲介質存儲有計算機程序，其特征在于，計算機程序被處理器執(zhí)行時實現(xiàn)上述多源異構數(shù)據融合的視覺處理方法的步驟。