[發明專利]一種基于圖像分類和目標檢測的棉花發育期自動識別方法

有效

• 申請號: 201810457301.5
• 申請日: 2018-05-14
• 公開（公告）號: CN108647652B
• 公開（公告）日: 2022-07-01
• 發明（設計）人: 毋立芳;汪敏貴;付亨;簡萌;秦媛媛
• 申請（專利權）人: 北京工業大學
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/764;G06V10/774;G06V10/82;G06V20/60;G06K9/62
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 劉萍

1.一種基于圖像分類和目標檢測的棉花發育期自動識別方法，其特征在于：該方法首先對作物圖像進行分割，得到作物的覆蓋度數據；針對不同發育期擁有不同覆蓋度的情況，利用綜合判斷模塊，實現自適應使用分布檢測模塊、圖像分類模塊、目標檢測模塊或者疊加使用這些模塊，進行發育期的識別；根據圖像分類結果，識別出出苗期、三真葉期、五真葉期以及現蕾期；根據花朵數和棉絮數，識別出開花期、開花盛期、裂鈴期、吐絮期、吐絮盛期以及停止生長；最后進行時序修正，得到最優的發育期計算結果，實現對棉花發育期動識別；

發育期識別方法的具體步驟如下：

1)、棉花圖像選擇

待檢測的棉花作物圖像，該圖像作為輸入；

2)、圖像分割

采用基于RGB顏色空間的彩色圖像分割算法進行棉花植株的提取；針對棉花植株的綠色特征，其主要的顏色分量為G，也就是說綠色的G分量大于R分量和B分量，且R分量小于200；以2*G-R-B來設置閾值threshold進行圖像分割，以result代表分割結果，1代表前景，0代表背景定義了如下的分割方式:

將閾值threshold設為40時，覆蓋度cover_rate數值作為該模塊的輸出數據；

3)、分布檢測

通過對圖像分割后的圖片進行出苗點統計和出苗點直線分布檢測判斷是否達到出苗期；

4)、基于深度學習的圖像分類

棉花在出苗期、三真葉期、五真葉期、現蕾期的形態具有很大的不同，通過提取出單植株的棉花進行分類，確定該植株的發育期，當屬于某一發育期的植株超過了分類總數的一半便認為這張觀測圖處于該發育期；

結合出苗期分布檢測的出苗點坐標實現植株根部定位，然后自適應切割出棉花的單植株子圖用于圖像分類，使用基于Caffe-AlexNet框架的圖像分類方法，統計一張觀測圖所有單植株子圖的分類結果，最后以分類結果最多的那一類作為該觀測圖的發育期，實現對棉花在出苗期、三真葉期、五真葉期、現蕾期的識別；

5)、基于YOLOv2的圖像目標檢測

當棉花處于開花期和吐絮期時圖像均有明顯的局部特征；開花期時作物圖像中花朵呈開放狀態，吐絮期時作物圖像中的棉絮呈裸露狀態，均具有明顯的可識別性；因此對花朵、棉絮進行目標檢測并統計其數量；采用基于Darknet深度學習框架的YOLOv2檢測網絡作為目標檢測模型實現該功能，識別出棉花觀測圖像中的花朵數和棉絮數；將棉花的花朵、棉絮作為檢測目標，在已有資料圖片中做好標簽圖，對網絡進行訓練，直到能檢測出這些目標；通過基于YOLOv2的圖像目標檢測，檢測單張棉花圖像中的花朵目標數和棉絮目標數，作為開花期和吐絮期識別的重要參數；

6)、綜合判斷

通過對檢測到的花朵數和棉絮數設定不同的閾值來區分開花期與開花盛期、裂鈴期、吐絮期和吐絮盛期；當棉花進入停止生長的時候，結合棉花覆蓋度和棉絮數量的變化判斷棉花是否停止生長；

通過上述棉花發育期識別方案和其中的關鍵技術，得到待檢棉花圖像的所需參數：覆蓋度、出苗分布擬合直線數、花朵數和棉絮數；這些參數包含著各個棉花發育期的特征信息，基于上述分析，綜合這些參數和其數量關系實現對棉花完整發育期的識別；

以覆蓋度作為基礎，通過出苗分布線段數識別未出苗和出苗期；根據圖像分類結果，識別出出苗期、三真葉期、五真葉期以及現蕾期；根據花朵數和棉絮數，識別出開花期、開花盛期、裂鈴期、吐絮期、吐絮盛期以及停止生長；最終通過棉花發育期自動識別方案完成對棉花全部發育期的識別；

7)、時序修正

由于發育期隨著時間的增加呈遞增關系，所以已經結束的發育期在后期不會再次出現；因此，在對觀測圖進行發育期識別時加入時序修正模塊；

綜合判斷具體為：

(6-1)計算所需參數

a.覆蓋度

使用圖像分割模塊計算圖像中綠色區域占比獲得覆蓋度數據；通過該方法有效分割棉花作物的圖像，獲得覆蓋度數據；

b.出苗分布線段

使用分布檢測模塊通過檢測輪廓、質心化進行定位檢測出苗點的分布，擬合出對應的分布線段，作為判斷出苗期的標準；

c.圖像分類

待檢測圖像輸入后隨機取點將原圖像分割為植株大小的若干小圖，然后將這些小圖使用已訓練的AlexNet圖像分類模型進行分類，并統計各個類別的數量，實現對棉花在出苗期、三真葉期、五真葉期、現蕾期的識別；

d.目標檢測

以花朵和白絮作為檢測目標，使用已訓練的YOLOv2模型進行目標檢測識別，并統計其總數，即獲得該圖像中的花朵數、白絮數；

(6-2)設定合理閾值獲得識別結果

對于待檢測的棉花圖像，以覆蓋度作為劃分：

a.當覆蓋度小于0.015時，檢測出苗分布線段數作為檢測出苗點情況的指標，當出苗分布線段數大于2認為是出苗期，該參數小于2則認為是未出苗；

b.當覆蓋度大于等于0.015且小于0.6時，則認為棉花已經發育了一段時間，需要根據圖像分類來識別發育期，識別出出苗期、三真葉期、五真葉期以及現蕾期；

c.當覆蓋度與棉絮數的乘積大于5時，認為圖像中棉絮檢測為有效判定；當覆蓋度與花朵數的乘積大于1時，認為圖像中花朵檢測為有效判定；以此去除覆蓋度較低時的各類環境噪聲干擾；

當花朵和棉絮都滿足有效判定條件，則計算花朵數除以棉絮數，當該參數大于等于3時，則認為棉絮為主要判定目標，該參數小于3時，則認為花朵為主要判定目標；

當覆蓋度大于0.6且未判定棉絮檢測有效或花朵檢測有效時，認為發育期為現蕾期，作為識別覆蓋度較高的現蕾期的補充；

d.對于棉花的開花盛期、裂鈴期和吐絮盛期和停止生長期，對檢測到的花朵數和棉絮數設定不同的閾值來區分開花期與開花盛期、裂鈴期、吐絮期和吐絮盛期；

當判定花朵檢測有效時，圖像中的花朵數大于5小于15則識別該圖像為開花期，花朵數大于15則識別該圖像為開花盛期；

當判定棉絮檢測有效時，圖像中的棉絮數小于50則認為是處于裂鈴期；棉絮數大于50小于200則識別該圖像為吐絮期；棉絮數大于200則識別該圖像為吐絮盛期；

e.當棉絮數大于200且棉絮數與覆蓋度的乘積小于10時，則識別該圖像已經停止生長。

2.根據權利要求1所述的方法，其特征在于，基于深度學習的圖像分類具體為：

(1)圖像分類

AlexNet共有八層網絡，其結構如下：

卷積層1：輸入227*227*3卷積核11*11*3*96

卷積層2：輸入28*28*96卷積核5*5*96*256

卷積層3：輸入14*14*256卷積核3*3*256*384

卷積層4：輸入14*14*384卷積核3*3*384*384

卷積層5：輸入14*14*384卷積核3*3*384*256

全連接層1：輸入7*7*256輸出4096

全連接層2：輸入4096輸出4096

全連接層3：輸入4096輸出1000

根據棉花觀測圖的實際分類類別對AlexNet進行了改動，將AlexNet的最終分類類別1000類改成了4類，分別對應棉花發育期中的出苗期、三真葉期、五真葉期和現蕾期，AlexNet基于Caffe深度學習框架實現，在Linux系統中運行，采用GPU進行運算；將制作好的數據集放入訓練網絡，設置好參數進行訓練，最終分類準確率穩定在80％以上開始下面步驟；

(2)目標檢測

目標檢測采用的YOLOv2網絡模型，是在v1版本上的改進版本，基于Darknet深度學習框架實現，在Linux系統中運行，采用GPU進行運算；該網絡將重置尺寸后的輸入圖像劃分成S*S的網絡，在每個網格中預測2個邊界框及置信度，以及C種類別的條件概率，最后使用非極大值抑制法得到最終的目標預測框；選取結構較簡單、運算復雜度較低的tiny-yolo-voc作為YOLOv2的基礎網絡，將YOLOv2的目標檢測類別改為1類；根據要求將制作完成的數據集用于訓練，學習目標分類以及BoundingBox位置與大小；最終針對花朵和棉絮分別制作兩個目標檢測模型。