[發明專利]電子元器件屬性與類別的空間關系發現方法

在審

• 申請號: 202010561688.6
• 申請日: 2020-06-18
• 公開（公告）號: CN111881934A
• 公開（公告）日: 2020-11-03
• 發明（設計）人: 顧寄南;張志杰
• 申請（專利權）人: 江蘇大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06T7/73;G06F16/36
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提供了一種電子元器件屬性與類別的空間關系發現方法，包括：獲取電子元器件的二維圖像；應用輕量化的高效目標檢測模型中的特征提取模塊，獲得關鍵特征；利用目標檢測模型的分類網絡，根據提取的關鍵特征判斷電子元器件的類別；利用知識圖譜，檢索元器件的隱屬性；利用電子元器件的屬性以及圖像中的視覺信息發現與其圓周方向上臨近元器件的空間關系；利用信息緩存模塊，暫存元器件的屬性、隱屬性以及其空間關系信息；知識圖譜將元器件的空間關系信息輸出至機械手調度單元；數據轉換模塊把元器件在相機坐標系中的位置信息轉換為機械手坐標系下的坐標，本發明解決現有電子元器件裝配場景中對人工作業的依賴程度高，效率低下，成本高昂的問題。

技術領域

本發明涉及智能設備領域，尤其涉及一種電子元器件屬性與類別的空間關系發現方法。

背景技術

電子元器件裝配場景中機械手的應用對提高生產效率、減少人工勞動有極其重要的作用；機械手能夠準確地抓取元器件的關鍵是能夠給機械手提供可靠的元器件的空間位置信息，因此需要對視場內的元器件進行準確的分類。

然而目前的電子元器件裝配方法中，插裝式元器件主要以人工作業為主，或是限制程度較高的裝配環境，存在效率低下，成本高昂的問題。

發明內容

針對現有技術中存在不足，本發明提供了一種基于機器視覺的電子元器件屬性與類別的空間關系發現方法，解決現有電子元器件裝配場景中對人工作業的依賴程度高，效率低下，成本高昂的問題。

本發明是通過以下技術手段實現上述技術目的的。

電子元器件屬性與類別的空間關系發現方法，應用于機械手，包括：

獲取裝配工位上電子元器件的二維圖像；

針對所述二維圖像，應用輕量化的高效目標檢測模型中的特征提取模塊，獲得電子元器件的關鍵特征，為可觀測屬性；

利用目標檢測模型的分類網絡，根據提取的關鍵特征判斷電子元器件的類別；

利用已構建的針對電子元器件屬性信息的知識圖譜，檢索元器件的隱屬性；

利用電子元器件的屬性以及圖像中的視覺信息發現與其圓周方向上臨近元器件的空間關系；

利用信息緩存模塊，暫存元器件的屬性、隱屬性以及其空間關系信息；

知識圖譜將元器件的空間關系信息輸出至機械手裝配調度單元，機械手裝配調度單元確定要抓取元器件的類別，并在知識圖譜中找到適合當前裝配要求的元器件，獲取其位置信息；

數據轉換模塊接受裝配調度單元的輸出作為輸入，把元器件在相機坐標系中的位置信息轉換為機械手坐標系下的坐標。

進一步地，所述輕量化高效目標檢測模型為EfficientNet B-0；所述可觀測屬性為電子元器件的顏色、大小、形狀、位置、姿態。

進一步地，所述分類網絡將特征提取模塊獲得的目標特征進行多維空間的分類，得到圖像中每個可觀測目標的類別歸屬；

所述分類網絡的類別概率獲取函數為softmax；

所述分類網絡采用非最大抑制算法，舍去概率值低于最大值的類別預測，將概率值最大的類別預測作為類別預測結果。

進一步地，所述知識圖譜包含了電子元器件的屬性和隱屬性，每個電子元器件作為一個節點，電子元器件的屬性值為子節點，用節點間的邊表示屬性關系；

進一步地，每當抓取一個電子元器件后，知識圖譜將自動更新，自動屏蔽已被取走的電子元器件的屬性信息，不再為所述機械手裝配調度單元輸出電子元器件的空間關系。