[發明專利]一種基于高光譜圖像和遷移學習的梨損傷識別方法

在審

• 申請號: 202211225720.9
• 申請日: 2022-10-09
• 公開（公告）號: CN115511855A
• 公開（公告）日: 2022-12-23
• 發明（設計）人: 劉大洋;王恩鳳;朱良寬;呂鳳;章慧婷;郭敬濤
• 申請（專利權）人: 東北林業大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V10/20;G06V10/26;G06V10/58;G06V10/764;G06V10/77;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 哈爾濱奧博專利代理事務所(普通合伙) 23220
• 代理人: 葉以方

1.一種基于高光譜圖像和遷移學習的梨損傷識別方法，其特征在于，所述方法具體包括：

步驟1、利用公共數據集ImageNet訓練深度學習網絡ResNet 50，得到預訓練模型M；

步驟2、采集梨擠壓損傷和碰撞損傷樣品的原始高光譜數據，并對各個原始高光譜數據進行預處理，獲得預處理后的高光譜數據；

步驟3、對預處理后的高光譜數據進行特征提取得到梨擠壓損傷的特征圖像；

步驟4、利用梨擠壓損傷的特征圖像對模型M進行微調，記微調收斂后的模型為M1，保存訓練好的模型M1結構及其權重參數；

步驟5、把訓練好的權重參數作為初始化權值遷移到梨碰撞損傷數據集上進行訓練與微調，最終得到基于ResNet 50網絡遷移學習的梨碰撞損傷識別模型M2。

2.根據權利要求1所述的方法，其特征在于，在步驟1中，二維數據集ImageNet在RestNet 50模型上進行預訓練，其中，ResNet 50網絡結構由49個卷積層和1個全連接層組成；圖像輸入之后首先有卷積層，卷積核大小為7×7像素，卷積核的數量為64，步長為2像素，再經過16個殘差塊，每個殘差塊有三層卷積，每個不同卷積結構的殘差塊之間通過stride為2的下采樣聯接，卷積之后是一個全連接層；ResNet 50結構最后一層的全連接層包含1000個通道，模型M的最后一部分采用SoftMax分類器用于執行分類。

3.根據權利要求2所述的方法，其特征在于，在分類器中添加線性函數dropout操作，把最后一個全連接層的輸入連接到有256個輸出單元的線性層，接著連接Relu層和dropout層，設置dropout＝0.4，訓練時隨機舍棄全連接層40％的神經元個數用于防止過擬合，最后是256×4的線性層，輸出為4通道的SoftMax層。

4.根據權利要求3所述的方法，其特征在于，所述預處理包括采集樣本、黑白校正和去除背景。

5.根據權利要求4所述的方法，其特征在于，所述采集樣本具體為：

首先采集無損傷梨高光譜圖像，分別制備擠壓損傷、碰撞損傷樣本，在制備損傷后1h、12h和24h各采集一次高光譜圖像，其中擠壓損傷、碰撞損傷后1h、12h和24h各80個樣本，無損傷樣本以及損傷樣本總數為560，高光譜圖像的大小為512×1198×224。

6.根據權利要求5所述的方法，其特征在于，所述黑白校正具體為：

在與樣本采集相同的條件下，首先掃描標準白色校正板，得到全白的標定圖像R_white；然后掃描黑色校正板，得到全黑的標定圖像R_black；最后按照校正公式完成圖像標定，采集得到的原始圖像變成校正圖像；校正公式為：

其中R_original為原始圖像數據，R_black為全黑圖像數據，R_white為全白圖像數據，R為校正后的圖像數據。

7.根據權利要求6所述的方法，其特征在于，所述去除背景具體為：

提取出高光譜圖像數據中的第118個波長，使用大津閾值算法對圖像進行梨與背景的分割，得到二值化掩膜，再對掩膜進行聯通區域標記，只保留掩膜中的最大聯通區域，對掩膜進行填充，將最大聯通區域內的所有區域的灰度值改為1，最后使用半徑為3像素的圓形結構元素對掩膜進行腐蝕操作，得到掩膜圖像及去除背景后的光譜圖像。

8.根據權利要求7所述的方法，其特征在于，在步驟3中，對預處理后的圖像先使用PCA降維，PC2、PC3、PC4和PC5中可以觀察到梨中損傷的位置，PC2含有最明顯的損傷信息，PC3、PC4和PC5中損傷信息不明顯，將三者的均值進行波段比算法增強，再進行中值濾波處理；將經PCA處理后的PC2圖像、經波段比之后的圖像和中值濾波之后的圖像，分別作為B、G、R成分合成一張真彩色圖像，將真彩色圖像作為檢測梨損傷的特征圖像輸入模型。