[發明專利]一種基于計算機視覺半監督偽標簽學習的小麥頭檢測方法

有效

• 申請號: 202110849609.6
• 申請日: 2021-07-27
• 公開（公告）號: CN113554627B
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 鐘必能;張子凱;鄭耀宗;梁啟花;李先賢
• 申請（專利權）人: 廣西師范大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V10/44;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 桂林市華杰專利商標事務所有限責任公司 45112
• 代理人: 陸夢云

1.一種基于計算機視覺半監督偽標簽學習的小麥頭檢測方法，其特征在于，所述方法包括：訓練不同的小麥頭檢測模型和半監督偽標簽學習策略，其中，

1)訓練不同的小麥頭檢測模型為：訓練不同的基于監督訓練方式的第一小麥頭檢測模型和第二小麥頭檢測模型，訓練小麥頭檢測模型所使用的數據集是全球小麥頭檢測數據集，全球小麥頭檢測數據集用來估計小麥頭的數量和大小，選取全球小麥頭檢測數據集中來自歐洲地區的法國、英國和瑞士、北美地區的加拿大的3000多張圖像作為訓練數據集，選取全球小麥頭檢測數據集中來自澳大利亞，日本和中國的1000張不同地域不同品種的小麥頭圖像作為測試數據集，第一小麥頭檢測模型以yolov5s為基準模型，訓練過程如下：

1-1)訓練樣本從全球小麥頭檢測數據集的訓練集部分進行批量選取，每批次隨機讀取n張圖片,n的數值任意選擇；

1-2)讀取圖片后進行尺度縮放為640×640像素尺寸；

1-3)對所有批量圖片進行數據增廣，包括變換顏色空間、圖片旋轉、隨機平移、翻轉、Mosaic、仿射變換；

1-4)經過數據增廣后的圖片批量輸入yolov5s網絡模型，預測得到圖片中的目標類別和位置信息，包括目標物體類別、預測邊界框中心點坐標、寬、高，接著把第一小麥頭檢測模型的預測值與輸入圖片的目標標簽通過損失函數進行損失計算，計算得到的損失值會通過反向傳播算法將梯度回傳給網絡，進行網絡參數的迭代更新，其中，第一小麥頭檢測模型的分類損失函數采用Focal loss損失函數，如公式(1)所示：

其中，L_cls代表分類損失函數，α和γ是損失函數的超參數，代表第一小麥頭檢測模型的分類預測值，介于0到1之間，

第一小麥頭檢測模型采用GIoU損失函數作為回歸損失函數，如公式(2)所示：

其中，L_loc代表回歸損失函數，A代表預測邊界框的面積，B代表目標真實標注框的面積，C代表能夠將A和B包圍的最小矩形的面積，IoU_AB代表預測邊界框A和目標真實標注框的面積交并比，C/(A∪B)代表最小包圍矩形C的面積減去A預測框與B真實標注框面積的并集的差值；

第二小麥頭檢測模型以EfficientDet作為基準模型，第二小麥頭檢測模型包括特征提取子網絡、加權雙向特征金字塔子網絡和分類回歸子網絡，組成網絡的移動翻轉瓶頸卷積子模塊和雙向特征金字塔子模塊定義如下：

移動翻轉瓶頸卷積子模塊的輸入是通道維度是C的特征向量，首先經過一個1×1卷積層進行升維、并順序經過批歸一化層、swish激活函數、5×5深度可分離卷積層、批歸一化層、swish激活函數，然后分成兩個分支，第一個分支設有全局平均池化層、1×1卷積層、swish激活函數、1×1卷積層、sigmoid激活函數，第二個分支設有1×1卷積層進行降維、批歸一化層、dropout函數，最后將模塊的輸入向量和第二分支的輸出向量進行殘差連接作為模塊的最終輸出；

雙向特征金字塔子模塊的輸入是特征提取網絡的C3、C4、C5三層特征層的輸出向量以及C5特征向量經過兩次池化的C6、C7特征向量，首先C7特征向量進行上采樣與C6特征向量進行相加并經過一個3×3卷積層得到中間特征向量1，中間特征向量1進行上采樣與C5特征向量進行相加并經過一個3×3卷積層得到中間特征向量2，中間特征向量2進行上采樣與C4特征向量進行相加并經過一個3×3卷積層得到中間特征向量3，中間特征向量3進行上采樣與C3特征向量進行相加并經過一個3×3卷積層得到P3特征向量，P3特征向量進行下采樣與C4層的中間特征向量進行相加并經過一個3×3卷積層得到P4特征向量，P4特征向量進行下采樣與C5層的中間特征向量進行相加并經過一個3×3卷積層得到P5特征向量，P5特征向量進行下采樣與C6層的中間特征向量進行相加并經過一個3×3卷積層得到P6特征向量，P6特征向量進行下采樣與C7特征向量進行相加并經過一個3×3卷積層得到P7特征向量，其中P3、P4、P5、P6、P7特征向量即為雙向特征金字塔子模塊的輸出向量；

特征提取子網絡包括順序連接的一個3×3的卷積層和16個移動翻轉瓶頸卷積模塊，加權雙向特征金字塔子網絡包括3個雙向特征金字塔子模塊，分類回歸子網絡包括2個分支，每個分支包括2個1×1共享卷積層；

第二小麥頭檢測模型的訓練過程與第一小麥頭檢測模型訓練過程類似，不同的是，第二小麥頭檢測模型的的回歸損失函數采用Smooth L1 loss損失函數，如公式(3)所示：

其中，Smooth L₁代表回歸損失函數，代表邊界框的預測值，即中心點坐標與寬高，y代表真實目標框的標注坐標，代表模型預測值與真實值之間的差值；

2)所述半監督偽標簽學習策略為：多個監督模型聯合學習預測邊界框，首先采用第一小麥頭檢測模型和第二小麥頭檢測模型對無標簽數據進行預測，得到多個模型預測框，然后采用加權框融合方法融合出具有更高置信度的預測框，作為偽標簽數據，接著采用原始訓練數據集以及偽標簽數據集重新訓練新的小麥頭檢測模型，不斷迭代訓練新模型，直到小麥頭檢測模型測試效果不再提升為止，將模型偽標簽訓練的停止條件設置為模型預測平均精度提升小于0.2％則停止訓練，其中，加權框融合方法的步驟如下：

1-2)首先創建列表B，列表B用于儲存2個基于監督訓練方式的模型預測的邊界框，然后根據模型預測的置信度對預測框進行降序排列；

2-2)創建列表L和列表F，列表L是一個多維列表，每一個位置儲存1個或多個預測框，稱為簇，對每個簇中的所有預測框進行加權融合，融合得到的邊界框存儲在列表F中，即列表F用于存儲2個有監督模型的融合框；

3-2)遍歷列表B中的預測邊界框，在存儲融合框的列表F中進行“聚類”，“聚類”規則是當前預測框與融合框進行IoU值計算，兩個框的IoU值大于指定閾值，則認為成功“聚類”；

4-2)在步驟3-2)中，如果沒有成功“聚類”，即沒有找到大于指定IoU閾值的融合框，則對當前預測框新建一個新簇，同時加入到列表L和列表F的尾部，如果成功“聚類”，找到大于指定IoU閾值的融合框，則將當前預測框加入到列表L，加入的位置是當前預測框在列表F中匹配到的融合框的下標位置，加入列表L后,需要根據這個簇中所有預測框來更新列表F中對應位置的融合框；

5-2)在步驟4-2)中，當前預測框加入到對應簇后，使用L的每一個簇中的所有邊界框，假設有T個邊界框，更新列表F中的融合框的置信度和坐標，其融合框的置信度和坐標的計算方式如公式(4)、公式(5)和公式(6)所示：

其中,C代表模型預測框的置信度，X、Y代表預測邊界框的坐標，融合框的坐標通過預測框的置信度和坐標值相乘，然后累加再除以置信度的總和得到；

6-2)當遍歷完列表B后，對列表F中每個融合框的置信度進行重新調整，調整公式如公式(7)所示：