[發明專利]基于深度遷移學習的植物氣孔智能檢測與識別方法及系統

有效

• 申請號: 202010337410.0
• 申請日: 2020-04-26
• 公開（公告）號: CN111540006B
• 公開（公告）日: 2021-03-30
• 發明（設計）人: 楊曉慧;郗梓鈞;李結平;朱曉紅;宋純鵬
• 申請（專利權）人: 河南大學
• 主分類號: G06T7/60
• 分類號: G06T7/60;G06T7/73;G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 鄭州立格知識產權代理有限公司 41126
• 代理人: 崔衛琴

1.一種基于深度遷移學習的植物氣孔智能檢測與識別的方法，其特征在于：所述方法依據的檢測與識別系統包括：

導入圖像模塊，使得用戶從本地文件中選擇需要檢測和識別的單張光學顯微鏡圖像；

氣孔檢測模塊，系統自動對導入的圖像進行氣孔檢測和識別，以及氣孔形態處理計算，并保存處理后的圖像和結果文件；

批量處理與顯示模塊，使得用戶從本地文件中選擇一個或多個目錄下的多張光學顯微鏡圖像，系統自動對導入目錄下的所有圖像進行氣孔檢測和識別，以及氣孔形態處理計算，并顯示批量處理后的全部光學顯微鏡圖像，保存處理后的全部圖像和結果文件；

模型參數調整模塊，使得用戶自定義合適的模型參數；

顯示檢測與識別詳細信息模塊，顯示檢測與識別后的單張光學顯微鏡圖像和該圖像中每個氣孔的形態計算詳細結果；

所述方法的實現包括如下步驟：

1)將來自導入圖像模塊的植物葉表皮的細胞掃描光學顯微鏡圖像分成訓練集、驗證集、測試集，并分別對訓練集和驗證集進行氣孔邊界框的人工標注；

2)讀取、預處理訓練集，使用YOLOv3網絡結構對光學顯微鏡圖像進行特征提取和氣孔表型性狀的邊界框預測；具體包括：

(21)讀取訓練集全部光學顯微鏡圖像，并根據用戶所期望得到的圖像目標分辨率，并對圖像尺寸進行調整；

(22)將在COCO數據集上的YOLOv3網絡結構進行預訓練模型、自定義光學顯微鏡圖像訓練集分別當作源領域D_s和目標領域D_t；

(23)采用Darknet-53網絡結構的前52層，對D_s與D_t進行特征數據混合并提取兩個域中的共同特征，得到3個不同尺度的特征圖；

(24)通過K均值聚類算法從提取后的特征中確定先驗框尺寸大小；

實現的具體步驟為：

(24-1)從訓練數據集中選取k個初始聚類質心，默認取k為3；

(24-2)計算每個樣本框Bbox與質心的相似程度，構造一種距離函數d，將最小的d值對應的樣本框劃歸到質心，包括以下過程：

(24-3)計算兩個樣本框Bbox間的交并比IoU，即

其中S_a和S_b代表兩個不同的樣本框Bbox的面積；其中，兩個不同Bbox的重疊面積越大，預測準確性越高；

(24-4)構造一種合適的相似程度判斷標準d，將最小值d對應的樣本框劃歸為質心；

根據公式(1)計算，即

d(b_i，centroid)＝1-IoU(b_i，b_cluster)，1≤i≤m, (2)

其中b_i為候選樣本Bbox，b_cluster為已劃分的簇，即已標注的Bbox；其中d越小，b_i與b_cluster越類似，并將最小的b_i，1≤i≤m劃歸為b_cluster；

(24-5)更新質心，反復執行(24-3)-(24-4)過程，直至質心不再變化；

具體為：結合(2)式，計算每個b_cluster中樣本框總數并取均值，然后更新b_cluster質心，不斷重復(24-3)-(24-4)過程，直至質心不再變化，即聚類結束；

(24-6)保存聚類得到的Abox尺寸大小；

(25)將步驟(23)中得到的3個特征圖分別通過k(4+1+c)個大小為11的卷積核進行邊界框的位置預測，其中k為預設邊界框，即初始聚類中心，c為預測目標的類別數；

(26)建立領域自適應,在步驟(23)和(25)間加入自適應層使得D_s和D_t的特征分布更加接近，計算D_s和D_t的距離為L_st；

(27)每個邊界框都預測一組類別，并采用邏輯回歸作分類器預測每個類別置信度分數，并設置一個閾值，比閾值高的類別即為該邊界框真正的類別；

(28)預測3種不同尺寸下的邊界框，并輸出張量為：

N×N×[3(b_offset+s+c)],其中N×N為網格數，b_offset為邊框坐標，s為邊界框置信度得分；

3)采用深度遷移學習，結合YOLOv3網絡結構構建預訓練模型，對訓練集的全部光學顯微鏡圖像進行訓練，計算每次迭代的網絡模型的損失函數值，直至損失函數值收斂到最小，即保存當前模型；

4)載入訓練后的模型，通過氣孔檢測模塊對測試集光學顯微鏡圖像進行氣孔檢測，并將氣孔表型性狀的邊界框標注的實際情況反饋給用戶；

用戶通過檢測后的圖像即可判斷邊界框標注的實際情況；其中，氣孔表型性狀的邊界框標注的實際情況具體有：在模型檢測過程中光學顯微鏡圖像中的所有氣孔是否均被邊界框框住、一個氣孔周圍是否被多個邊界框框住、氣孔表型性狀是否被完整且精確地框住；

5)通過模型參數調整模塊，用戶參與參數調整，對測試集進行檢測：若用戶對氣孔表型性狀的檢測與識別結果滿意，則停止調整參數，計算并得到氣孔尺寸、坐標、密度信息，并由顯示檢測與識別詳細信息模塊進行信息顯示；若不滿意，則用戶可以根據需要，調整氣孔目標最小存在可能性，以及非極大值抑制的大小，并返回步驟4)，直至用戶滿意。