[發明專利]一種基于RetinaNet模型的麥蜘蛛圖像檢測方法

有效

• 申請號: 202210664056.1
• 申請日: 2022-06-14
• 公開（公告）號: CN114743023B
• 公開（公告）日: 2022-08-26
• 發明（設計）人: 龐登浩;王弘;孟浩;陳鵬;梁棟;徐超;王海濤
• 申請（專利權）人: 安徽大學
• 主分類號: G06V10/44
• 分類號: G06V10/44;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08;G06T7/00
• 代理公司: 合肥國和專利代理事務所(普通合伙) 34131
• 代理人: 張祥騫

1.一種基于RetinaNet模型的麥蜘蛛圖像檢測方法，其特征在于，包括以下步驟：

11）麥蜘蛛圖像樣本的獲取和預處理：采集真實背景下麥田里麥蜘蛛的圖片作為麥蜘蛛圖片樣本，并使用LabelImg對采集圖片進行分類和坐標標注，作為預處理后的麥蜘蛛圖像樣本；

12）麥蜘蛛圖像樣本的擴充：使用隨機平移、旋轉、色彩轉換和添加噪聲操作對麥蜘蛛圖像樣本進行擴充；并隨機選取圖片，復制麥蜘蛛到圖片中隨機位置，生成新的圖片和標注文件；最后將高分辨率圖片樣本進一步分割，一張圖片分割成若干低分辨率的圖片組成新的麥蜘蛛圖像訓練集；

13）麥蜘蛛圖像檢測模型的構建：基于RetinaNet模型構建麥蜘蛛圖像檢測模型；

所述麥蜘蛛圖像檢測模型的構建包括以下步驟：

131）構建麥蜘蛛圖像檢測模型，麥蜘蛛圖像檢測模型包括RetinaNet模型的骨干網絡、特征金字塔以及標簽分配模塊；

132）對RetinaNet模型的骨干網絡重新進行設計，輸入數據集圖片，輸出不同尺寸的骨干網絡特征圖；

所述對RetinaNet模型的骨干網絡重新進行設計包括以下步驟：

1321）設定骨干網絡為五層結構；

1322）設定骨干網絡的第一層，輸入數據集圖像，通過卷積池化操作得到尺度壓縮的圖像，作為骨干網絡初始特征圖；

1323）設定骨干網絡的第二層，對骨干網絡初始特征圖分別利用殘差模塊與多頭自注意力模塊得到兩個特征圖，再將兩個特征圖拼接，重復3次，最后一次進行下采樣，輸出第一層骨干網絡特征圖；

1324）設定骨干網絡的第三層，對第一層骨干網絡特征圖分別利用殘差模塊與多頭自注意力模塊得到兩個特征圖，再將兩個特征圖拼接，重復4次，最后一次進行下采樣，輸出第二層骨干網絡特征圖；

1325）設定骨干網絡的第四層，對第二層骨干網絡特征圖分別利用殘差模塊與多頭自注意力模塊得到兩個特征圖，再將兩個特征圖拼接，重復5次，最后一次進行下采樣，輸出第三層骨干網絡特征圖；

1326）設定骨干網絡的第五層，對第三層骨干網絡特征圖分別利用殘差模塊與多頭自注意力模塊得到兩個特征圖，再將兩個特征圖拼接，重復3次，輸出第四層骨干網絡特征圖；

133）對RetinaNet模型的特征金字塔進行重新設計，接收骨干網絡輸出的骨干網絡特征圖作為輸入，融合上下文信息以及多尺度信息，輸出金字塔特征圖；

所述對RetinaNet模型的特征金字塔進行重新設計包括以下步驟：

1331）將特征金字塔設計為六層結構：

1332）設定特征金字塔的第一層，將骨干網絡輸出的第二層、第三層和第四層特征圖通過雙線性插值上采樣放大分辨率，得到三個上采樣特征圖，分別為第二層上采樣特征圖、第三層上采樣特征圖和第四層上采樣特征圖；

其中，雙線性插值的公式如下：

其中，??₁₁=(??₁,??₁)、??₂₁=(??₂,??₁)、 ??₁₂=(??₁,??₂)、 ??₂₂=(??₂,??₂)分別為左下、右下、左上、右上位置的坐標，??(??₁₁)、 ??(??₂₁)、??(??₁₂) 、??(??₂₂)分別表示插入點的左下、右下、左上、右上位置的像素值，??(??,??)為(??，??)位置新的像素值；

1333）設定特征金字塔的第二層，將第二層上采樣特征圖與第一層骨干網絡特征圖、第三層上采樣特征圖與第二層骨干網絡特征圖、第四層上采樣特征圖與第三層骨干網絡特征圖進行拼接，融合語義信息，得到三個融合語義特征圖；

1334）設定特征金字塔的第三層，將骨干網絡輸出的第一層骨干網絡特征圖以及融合之后的融合語義特征圖通過最大池化減小分辨率并融合處理，得到最大池化特征圖；最大池化，采用以下公式：

其中，??表示區域范圍為??×??，??_????表示區域??內第??行??列個點的像素值，??為區域??內最大的像素值；

1335）設定特征金字塔的第四層，將最大池化特征圖與第四層骨干網絡特征圖進行融合位置特征處理，得到上下文融合特征圖；其公式如下：

其中，??為骨干網絡傳遞特征圖個數，??_p表示最大池化特征圖，??₄表示第四層骨干網絡特征圖，????????????表示拼接運算；

1336）設定特征金字塔的第五層，使用不同尺寸的卷積提取上下文融合特征圖的多尺度信息；

1337）設定特征金字塔的第六層，按照通道拼接上下文融合特征圖的多尺度信息得到最終的金字塔特征圖，其中，卷積拼接采用如下公式：

其中，??為輸出金字塔特征圖個數，??_l表示第l層金字塔特征圖，?表示卷積運算，????????????表示拼接運算，??_l3和??_l5分別代表第l層特征圖的3×3大小的卷積核和5×5大小的卷積核，??_l3和??_l5分別代表第l層特征圖的3×3卷積的偏置和5×5卷積的偏置；

134）構建標簽分配模塊：將特征金字塔輸出的所有金字塔特征圖上的點生成的錨框按縮放比例映射到原圖，計算所有錨框與真實標簽的交并比，動態選取Topk個錨框作為正樣本，每一個真實標簽對應的交并比閾值以及k進行不斷優化；

14）麥蜘蛛圖像檢測模型的訓練：將麥蜘蛛圖像訓練集輸入麥蜘蛛圖像檢測模型進行訓練；

15）待檢測圖像的獲取：獲取待檢測的麥蜘蛛圖像并進行預處理；

16）麥蜘蛛圖像檢測結果的獲得：將預處理后的待檢測麥蜘蛛圖像輸入訓練后的麥蜘蛛圖像檢測模型，得到麥蜘蛛圖像檢測結果。