[發明專利]基于ViT框架的多類目巖礦快速分類方法、設備及存儲介質

在審

• 申請號: 202111409265.3
• 申請日: 2021-11-25
• 公開（公告）號: CN114219988A
• 公開（公告）日: 2022-03-22
• 發明（設計）人: 林偉華;劉福江;黎卓武;郭艷;李鵬;周季;唐家玉;孫煜文
• 申請（專利權）人: 中國地質大學（武漢）;武漢圖歌信息技術有限責任公司
• 主分類號: G06V20/00
• 分類號: G06V20/00;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 武漢紅觀專利代理事務所(普通合伙) 42247
• 代理人: 曾國輝

1.一種基于ViT框架的多類目巖礦快速分類方法，其特征在于，建立自然巖礦圖像識別模型進行多類目巖礦快速分類，所述方法包括以下步驟：

S1，采集巖礦圖像數據集樣本輸入至自然巖礦圖像識別模型的預處理模塊，進行特征預提取和抑制過擬合處理，所述數據集樣本包括圖像數據以及與其對應的類別標簽，繼續執行步驟S2；

S2，將經過預處理模塊的數據集樣本輸入至自然巖礦圖像識別模型的數據處理模塊中進行參數訓練和Token提取，繼續執行步驟S3；

S3，自然巖礦圖像識別模型的結果處理模塊根據所述參數訓練和Token提取結果進行Token分離和類別映射并輸出分類結果，完成對所述自然巖礦圖像識別模型的訓練；繼續執行步驟S4；

S4，獲取待識別圖像數據并輸入至所述自然巖礦圖像識別模型，完成對所述待識別圖像數據的分類并輸出結果。

2.如權利要求1所述的一種基于ViT框架的多類目巖礦快速分類方法，其特征在于，所述自然巖礦圖像識別模型中，

所述預處理模塊包括：順次連接的輸入層、圖像統一格式預處理模塊、遷移模型、ECTG模塊、Dropout層；

所述數據處理模塊包括：順次連接的參數正則化層、Mlti-Head Attention模塊、Linear層、ECTG模塊、Linear+Dropout層、參數正則化層、Linear+GeLU層、Dropout+Linear層、Dropout+Linear層、STFE模塊、Linear層；

所述結果處理模塊包括：順次連接的參數正則化層、ECTG模塊、RCLinear+Softmax層。

3.如權利要求2所述的一種基于ViT框架的多類目巖礦快速分類方法，其特征在于，所述步驟S1具體包括：

S1-1，所述數據集樣本進入自然巖礦圖像識別模型的輸入層后，所述圖像統一格式預處理模塊對所述圖像數據進行統一尺寸和色彩空間的處理，并輸入到遷移模型進行特征預提取，繼續執行步驟S1-2；

S1-2，所述遷移模型的輸出映射層輸出所述圖像數據的特征，輸入至ECTG模塊進行類標志Token提取，通過Dropout層抑制過擬合，輸出與圖像數據對應的標志Token，記為TokenT；

所述ECTG模塊，包括順次連接的Linear層、Dropout層以及Linear層，第一層Linear層用于映射所述特征，使用GeLU函數激活，再通過Dropout層抑制過擬合，第二層Linear層將所述特征映射為Patch Number倍編碼長度后輸出，其中Patches Number表示通過預設分割Patches大小計算得出的實際Patches數目。

4.如權利要求3所述的一種基于ViT框架的多類目巖礦快速分類方法，其特征在于，所述Token T具體包括：

所述Token為通過ECTG模塊將n個Patches的特征融合到第0個Patch中，生成與Patch同等大小的Token T：

其中，F為特征值序列矩陣，f_i為矩陣F的第i個向量，W為訓練后的權重參數矩陣，W_j為矩陣W的第j個向量，B為偏置參數矩陣，B_i為矩陣B的第i個向量，dim為Patch的尺寸。