[發明專利]一種基于三級分類和多尺度FCN的脫莢大豆圖像分割方法

有效

• 申請號: 202011102031.X
• 申請日: 2020-10-15
• 公開（公告）號: CN112183448B
• 公開（公告）日: 2023-05-12
• 發明（設計）人: 王敏娟;王瑩;陳昕;楊斯
• 申請（專利權）人: 中國農業大學
• 主分類號: G06V20/20
• 分類號: G06V20/20;G06V10/26;G06V10/32;G06V10/40;G06V10/764;G06V10/80;G06V10/774;G06V10/82;G06N3/0464
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于三級分類和多尺度FCN的脫莢大豆圖像分割方法，其特征在于，過程如下：

S1、獲取脫莢大豆圖像數據；

S2、預處理目標數據集；

S3、構建和訓練多尺度FCN；

所述步驟S3的具體過程如下：

S31、輸入圖像通過兩個3×3常規卷積層，第一個3×3卷積層后設有BN層，用于計算卷積層輸出數據的均值及方差，并進行歸一化，之后將第二個卷積層輸出的特征圖像通過UP-Conv層將它們上采樣到與輸入圖像相同的大小，得到Conv_FCN_out，其中UP-Conv是由雙線性插值和一個卷積層組成；

S32、將特征圖像輸入3個通用瓶頸塊，通用瓶頸塊具有密集卷積核且瓶頸塊之前均使用最大池化層，所有通用瓶頸塊內都有3個殘差瓶頸塊，它被定義為：

y＝f(x,{W_i})+W_sx????????????(1)

y＝f(x,{W_i})+x?????????????(2)

其中x和y分別表示殘差瓶頸的輸入和輸出，W_i和W_s表示權重；函數f＝W₃σ₃(W₂σ₂(W₁σ₁))表示要學習的殘差映射，σ表示ReLU激活函數；對于殘差瓶頸塊，等式(1)表示該塊的第一個殘差瓶頸，W_s使得x的通道數與f相同，等式(2)是其余的殘差瓶頸；殘差瓶頸中共有三個卷積層，包括兩個1×1卷積層和一個3×3卷積層，每個卷積層前均設有BN層，膨脹因子λ為1，接著將3個通用殘差瓶頸塊輸出的特征圖像分別通過UP-Conv層以進行上采樣，輸出BB_FCN_out1，BB_FCN_out2，BB_FCN_out3；

S33、使用2個膨脹瓶頸塊，膨脹瓶頸塊利用空洞卷積DC，DC被用于膨脹殘差塊中的3×3卷積層，其膨脹因子λ＝2，所有卷積層之后都經過了批處理歸一化和ReLU激活函數，之后使得2個膨脹殘差瓶頸塊輸出的特征圖像分別通過UP-Conv層，輸出DBB_FCN_out1，DBB_FCN_out2；

S34、將高分辨率分支HRB的特征信息與被發送到串聯層的Conv_FCN_out、BB_FCN_out1，BB_FCN_out2，BB_FCN_out3、DBB_FCN_out1和DBB_FCN_out2進行特征融合，以獲取不同的感受野特征RFF，最終使用3×3和1×1卷積層降低尺寸，并利用softmax層進行像素分類以實現像素級分割，網絡的損失函數被定義為：

O(i；θ)＝-Σ_i∈Ilog[p(i,g(i)；θ)]?????????(3)

其中i和θ分別代表圖像空間I中的像素位置和網絡參數，網絡參數包括權重和偏差，p(i,g(i)；θ)表示softmax分類后將像素i分配給地面真實值g(i)的預測概率；上述HRB具有兩個1×1卷積層，原始圖像通過HRB，然后將HRB特征融合到串聯層中，該分支能夠提供低級別的全局信息；

S4、使用訓練好的多尺度FCN實現脫莢大豆圖像分割，網絡輸出獲得豆莢對象和豆莢邊界的概率圖，將第二通道的豆莢對象概率圖減去第三通道的豆莢邊緣概率圖，最后通過生態學膨脹恢復豆莢圖像。

2.根據權利要求1所述的基于三級分類和多尺度FCN的脫莢大豆圖像分割方法，其特征在于，所述步驟S1的具體過程如下：

S11、隨機選取不同種植區域的大豆植株，進行摘莢、人工清除污垢操作，后續在圖像采集區進行數字成像；

S12、包含不同粒數的大豆豆莢被隨機平鋪在一塊黑色吸光背景布上，避免豆莢嚴重重疊，照相機位于豆莢正上方；所述的包含不同粒數的大豆豆莢包括一粒莢、兩粒莢、三粒莢、四粒莢。

3.根據權利要求1所述的基于三級分類和多尺度FCN的脫莢大豆圖像分割方法，其特征在于，所述步驟S2的具體過程如下：

S21、使用常見的尺度變換、隨機裁剪、加噪和旋轉變換對圖片進行預處理來豐富數據量，增強模型的魯棒性；

S22、使用三類標簽信息，包括：背景，脫莢大豆主體和豆莢邊緣，合成三級分類標注圖像；

S23、將增強后的圖像和三級分類標注圖像的尺寸大小調整為480×480。