[發明專利]基于深層神經網絡的電子元器件批量信息檢測方法及系統

有效

• 申請號: 202110572538.X
• 申請日: 2021-05-25
• 公開（公告）號: CN113205511B
• 公開（公告）日: 2023-09-29
• 發明（設計）人: 朱濤;王小龍;劉天賜;王志偉;楊一粟
• 申請（專利權）人: 中科芯集成電路有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/80;G06V10/762;G06V20/30;G06N3/0464;G06N3/08
• 代理公司: 無錫派爾特知識產權代理事務所(普通合伙) 32340
• 代理人: 楊立秋

1.基于深層神經網絡的電子元器件批量信息檢測方法，其特征在于，包括以下步驟：

圖像采集，通過相機獲取待檢測批量元器件的第一圖像；

圖像預處理，第一圖像通過設定閾值進行形態學處理，去除噪點得到經過增強的灰度圖像，將灰度圖像作為第二圖像；

元器件的位置區域檢測，使用設計并訓練好的目標定位深層神經網絡模型對第二圖像進行元器件目標位置檢測，檢測結果為包含元器件在內的一個最小正向外接矩形邊界框，返回結果是此邊界框的中心點坐標、寬、高、置信度以及類別概率，從而確定出視野范圍內每一個元器件的位置區域；

元器件的偏移角度檢測，使用基于HALCON建立的圖像模板匹配計算出每個位置區域的偏移角度；

偏移角度修正，根據偏移角度對位置區域進行矯正，得到元器件四邊與圖像視野水平、垂直方向相互平行的正向圖，并將正向圖單獨截取出來作為第三圖像；

文本區域位置檢測，使用設計并訓練好的文本定位深層神經網絡模型對第三圖像處理得到元器件表面的文本區域位置，并將文本區域位置作為第四圖像；

文本內容識別，使用設計并訓練好的字符識別深層神經網絡模型對第四圖像進行識別，得到元器件表面信息；

存檔并上傳，將元器件信息寫入文檔，并上傳給上位機軟件；

得到批量信息，上位機軟件將接收到的元器件表面信息，替換缺省狀態下文件對應字段的數據，得到檢測的批量信息。

2.根據權利要求1所述的基于深層神經網絡的電子元器件批量信息檢測方法，其特征在于，所述圖像預處理中包括基于OpenCV對第一圖像依次進行腐蝕、膨脹、高帽變換以及中值濾波處理。

3.根據權利要求1所述的基于深層神經網絡的電子元器件批量信息檢測方法，其特征在于，所述目標定位深層神經網絡模型的設計和訓練包括以下步驟：

大批量地采集目標元器件樣本圖像，制作網絡訓練所需要的數據集，并完成位置區域的標定，所述標定時采用兩點標注的形式確定位置區域；

將每張圖片上的所有目標都以兩點坐標的形式儲存在一個xml文件之中，所述兩點坐標分別為矩形的位置區域的兩個對角坐標；

在Ubuntu系統上對預設的YOLO系列網絡進行調優訓練，經過迭代得到目標定位深層神經網絡模型。