[發(fā)明專利]零部件的圖像識(shí)別方法、裝置及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202211622185.0
• 申請(qǐng)日: 2022-12-16
• 公開（公告）號(hào): CN116030297A
• 公開（公告）日: 2023-04-28
• 發(fā)明（設(shè)計(jì)）人: 伍佳偉;郭賀鎧;李想
• 申請(qǐng)（專利權(quán)）人: 江蘇徐工國(guó)重實(shí)驗(yàn)室科技有限公司
• 主分類號(hào): G06V10/764
• 分類號(hào): G06V10/764;G06V10/82;G06N3/08;G06N3/0464
• 代理公司: 南京縱橫知識(shí)產(chǎn)權(quán)代理有限公司 32224
• 代理人: 俞翠華

本發(fā)明公開了一種零部件的圖像識(shí)別方法、裝置及系統(tǒng)，所述圖像識(shí)別方法將獲取到的實(shí)時(shí)零部件圖文檔解析成可運(yùn)算數(shù)據(jù)；將所述可運(yùn)算數(shù)據(jù)分別輸入至預(yù)先訓(xùn)練好的多主干卷積神經(jīng)網(wǎng)絡(luò)模型、集成樹Lightgbm模型和SVM支持向量機(jī)模型；接收所述多主干卷積神經(jīng)網(wǎng)絡(luò)模型、集成樹Lightgbm模型和SVM支持向量機(jī)模型輸出的預(yù)測(cè)結(jié)果，對(duì)預(yù)測(cè)結(jié)果進(jìn)行預(yù)處理后獲得預(yù)測(cè)得分，分別輸入至權(quán)重融合器；利用權(quán)重融合器以投票法對(duì)各預(yù)測(cè)得分進(jìn)行加權(quán)融合計(jì)算，獲得圖像識(shí)別結(jié)果。本發(fā)明能夠有效提升零部件的圖像識(shí)別正確率。

技術(shù)領(lǐng)域

本發(fā)明屬于機(jī)器學(xué)習(xí)與機(jī)械工程復(fù)合技術(shù)領(lǐng)域，具體涉及一種零部件的圖像識(shí)別方法、裝置及系統(tǒng)。

背景技術(shù)

機(jī)械工程領(lǐng)域中各類零部件圖文檔作為產(chǎn)品設(shè)計(jì)與生產(chǎn)制造的核心參照標(biāo)準(zhǔn)，需要準(zhǔn)確反應(yīng)零部件圖文檔中相關(guān)對(duì)象的準(zhǔn)確信息，比如尺寸、材質(zhì)、適用參數(shù)、物料、單位價(jià)格等。因此，對(duì)零部件圖文檔中的零部件進(jìn)行分類識(shí)別對(duì)機(jī)械制造過程中的零件裝配、分揀、檢測(cè)等環(huán)節(jié)實(shí)現(xiàn)自動(dòng)化有著非常積極的意義。

現(xiàn)有技術(shù)中對(duì)零部件圖文檔中的零部件進(jìn)行分類識(shí)別的方法主要包括以下兩種：(1)通過分解域變換，并進(jìn)行邊緣檢測(cè)，使零部件圖文檔中的圖像信息進(jìn)入不同空間領(lǐng)域，使用梯度算子進(jìn)行相關(guān)處理。該方法對(duì)空間域轉(zhuǎn)換函數(shù)需要較大的運(yùn)算資源，并伴有閾值隨機(jī)性，而且整體魯棒性缺乏對(duì)噪聲抵抗性能差。(2)基于形狀基元，通過計(jì)算圓度弧度截面面積等幾何特征量，分拆不同方向定位計(jì)算位置偏移量。該方法由于要計(jì)算幾何形狀基元對(duì)不變矩等特征進(jìn)行存儲(chǔ)，對(duì)于轉(zhuǎn)換空間過程中存在關(guān)聯(lián)性誤差的問題，使得后續(xù)峰值檢測(cè)發(fā)生困難。

發(fā)明內(nèi)容

針對(duì)上述問題，本發(fā)明提出一種零部件的圖像識(shí)別方法、裝置及系統(tǒng)，能夠有效提升零部件的圖像識(shí)別正確率。

為了實(shí)現(xiàn)上述技術(shù)目的，達(dá)到上述技術(shù)效果，本發(fā)明通過以下技術(shù)方案實(shí)現(xiàn)：

第一方面，本發(fā)明提供了一種零部件的圖像識(shí)別方法，包括：

將獲取到的實(shí)時(shí)零部件圖文檔解析成可運(yùn)算數(shù)據(jù)；

將所述可運(yùn)算數(shù)據(jù)分別輸入至預(yù)先訓(xùn)練好的多主干卷積神經(jīng)網(wǎng)絡(luò)模型、集成樹Lightgbm模型和SVM支持向量機(jī)模型；

接收所述多主干卷積神經(jīng)網(wǎng)絡(luò)模型、集成樹Lightgbm模型和SVM支持向量機(jī)模型輸出的預(yù)測(cè)結(jié)果，對(duì)預(yù)測(cè)結(jié)果進(jìn)行預(yù)處理后獲得預(yù)測(cè)得分，分別輸入至權(quán)重融合器；

利用權(quán)重融合器以投票法對(duì)各預(yù)測(cè)得分進(jìn)行加權(quán)融合計(jì)算，獲得圖像識(shí)別結(jié)果。

可選地，所述將獲取到的實(shí)時(shí)零部件圖文檔進(jìn)行解析成可運(yùn)算數(shù)據(jù)，包括以下步驟：

將獲取到的實(shí)時(shí)零部件圖文檔分區(qū)處理后，存入磁盤緩存解釋器；

將磁盤緩存解釋器中的實(shí)時(shí)零部件圖文檔讀取至內(nèi)存，并轉(zhuǎn)換成通用的圖片格式后，再處理成可供計(jì)算的張量或數(shù)組。

可選地，所述將獲取到的實(shí)時(shí)零部件圖文檔進(jìn)行解析成可運(yùn)算數(shù)據(jù)，還包括以下步驟：

利用內(nèi)存緩存解釋器找出內(nèi)存中超過一定時(shí)間為使用的內(nèi)存塊，并將其移出內(nèi)存。

可選地，所述多主干卷積神經(jīng)網(wǎng)絡(luò)模型包括順次設(shè)置的多主干卷積層、池化層、全連接層、輸出層；

所述多主干卷積層包括若干個(gè)順次設(shè)置的主干卷積層，各主干卷積層結(jié)構(gòu)相同，均包括順次設(shè)置的卷積層、歸一化處理層和激活函數(shù)；各主干卷積層之間添加跳躍連接處理；

當(dāng)數(shù)據(jù)被輸入至多主干卷積層后，各主干卷積層對(duì)數(shù)據(jù)的處理過程為：

依次對(duì)數(shù)據(jù)進(jìn)行卷積處理、歸一化處理，然后經(jīng)過激活函數(shù)獲得計(jì)算結(jié)果，并將計(jì)算結(jié)果傳入到下一主干卷積層和與其之間添加有跳躍連接處理的主干卷積層；