[發明專利]一種基于改進Transformer模型的植物葉片病變識別方法

在審

• 申請號: 202310077806.X
• 申請日: 2023-02-08
• 公開（公告）號: CN116311186A
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 周厚奎;葉淵博;王陳燕
• 申請（專利權）人: 浙江農林大學
• 主分類號: G06V20/60
• 分類號: G06V20/60;G06V10/82;G06V10/80;G06V10/77;G06V10/774;G06N3/0464;G06N3/045;G06N3/09;G06N3/0985;G06N3/082
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于Transformer網絡的智能植物葉片病變識別系統，其特點是采用了圖片預處理、窗口劃分、特征融合策略、自監督學習方法對植物葉片病變進行識別。

2.如權利要求1所述的植物葉片病變識別系統圖片預處理方法，其特征在于，對輸入網絡的圖像進行尺寸大小歸一化處理，將圖像尺寸縮放至224*224像素大小；圖像擴增方法為將劃分好的圖像進行鏡像、翻轉、平移、剪切、仿射變換、旋轉操作進行擴增，對于圖像抗噪能力的數據擴增方法為：添加高斯噪聲、進行高斯模糊、亮度、對比度調整；生成的隨機數乘以一個正則化常數，在{0.1,0.2,0.3,0.4}之間隨機生成均值參數，在{0,0.1，…，0.5}之間隨機生成偏差參數，通過隨機數生成的高斯分布隨機值將其與原始圖像上的像素值進行疊加，然后再量化到0～255之內，生成高斯加噪的圖像；將每批次輸入網絡中的數據進行打包，并對批次內的數據進行層歸一化操作，具體公式為：

其中Ε[x]是批次數據的均值，y為層歸一化輸出數據，為數據的標準差，ε是一個非常小的數默認為10^-5，為了防止分母為零，γ和β是兩個可以訓練的參數。

3.如權利要求1所述的窗口劃分模塊，其特征是將輸入圖片進行切塊，設置移動窗口，規定窗口類型，以及塊內像素聚類；切塊操作是將輸入進Transformer網絡的圖像進行切塊并轉化為對應的向量序列，它是一個二維矩陣；以基礎Transformer為例，每個向量長度為768，對于大小為224*224的圖像按照16*16的塊進行劃分，劃分后會得到196個塊，使用線性映射將每個塊映射為一維向量，最后會得到一個大小為[196,768]二維矩陣；交叉十字移動窗口特征是對輸入圖像進行按條形窗口劃分，并且對每個窗口中的向量進行劃分，形成十字形狀窗口的水平和垂直條紋進行并行計算注意力；每個條紋中的一點經過水平和垂直并行計算注意力后，就相當于在十字形窗口中每個像素點進行了注意力計算；將一個輸出特征X∈R^H×W×C，首先投影到k個頭部，然后對每個頭部在水平或垂直條紋內進行局部自注意力的計算，對于橫條的自我注意力，將X均勻劃分為不重疊的橫條[X¹,,,,X^M]，橫條等寬為sw；其中sw可以通過調整來平衡學習能力和計算復雜度；K個橫條自注意力輸出定義為：

X＝[X¹,X²,...,X^M],

其中Xⁱ∈R^(sw×W)×C，M＝H/sw，i＝1,...,M；是三個變量對應的輸入特征Q,K,V的矩陣投影，d_k為輸入特征的維度數量除以頭部數量的值；垂直條紋的自注意力也可以同理導出，將第Z個自注意力頭輸出記為V-Attention(X)；平均的將k個頭部分成兩個平行的組，每一組有Z/2個頭部數；第一組進行水平條紋的自注意力計算，另一組進行垂直條紋的自注意力計算，最后將兩個并行組的輸出合并在一起，結果如下：

All-Attention(X)＝Concat(head₁,...,head_Z)W^O，

其中W^O∈R^C×C為固定的將自我注意力結果投影到目標輸出維的投影矩陣。

4.如權利要求3所述的多頭部注意力機制，其特征在于，特征圖上使用多個自注意力捕獲向量序列內各種范圍的依賴信息，將Q,K,V值通過投影矩陣并行送入到注意力匯聚層，通過另一個投影矩陣進行計算作為最終輸出，公式為：

MultiHead(Q,K,V)＝Concat(head₁,...,head_h)W^O，

head_i＝Attention(QW_i^Q,KW_i^K,VW_i^V)，