[發(fā)明專利]基于視覺的復(fù)雜機(jī)電產(chǎn)品微小零件裝配狀態(tài)檢測方法

在審

• 申請?zhí)枺?/td>: 202310213374.0
• 申請日: 2023-03-07
• 公開（公告）號(hào): CN116563131A
• 公開（公告）日: 2023-08-08
• 發(fā)明（設(shè)計(jì)）人: 夏夢銘;劉庭煜
• 申請（專利權(quán)）人: 南京理工大學(xué)
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06T3/40;G06T7/30;G06V10/764;G06T5/50;G06T5/40;G06F17/11;G06F17/16;G06N3/0464;G06N3/08
• 代理公司: 南京理工大學(xué)專利中心 32203
• 代理人: 張玲

1.一種基于視覺的復(fù)雜機(jī)電產(chǎn)品微小零件裝配狀態(tài)檢測方法，其特征在于，包括如下步驟：

步驟(1)：圖像采集：拍攝多張圖像，圖像將復(fù)雜機(jī)電產(chǎn)品覆蓋完整；

步驟(2)：對步驟(1)采集的原始圖像進(jìn)行傾斜矯正，并進(jìn)行圖像拼合；

步驟(3)：裝配單元的圖像的獲取：將完整產(chǎn)品圖像輸入至訓(xùn)練好的目標(biāo)檢測模型，取得裝配單元的圖像位置，并裁剪出該部分圖像；

步驟(4)：第一類目標(biāo)對象圖像的獲取：第一類目標(biāo)對象的尺寸在10mm～50mm，為第二類目標(biāo)對象的父級零件，將步驟(3)裁剪出裝配單元的圖像輸入至訓(xùn)練好的目標(biāo)檢測模型，對第一類目標(biāo)對象進(jìn)行狀態(tài)檢測；

步驟(5)：第二類目標(biāo)對象圖像裝配狀態(tài)的檢測：提取第一類目標(biāo)對象的圖像，根據(jù)第二類目標(biāo)對象在第一類目標(biāo)對象圖像上的位置信息提取第二類目標(biāo)對象的圖像，對第二類目標(biāo)對象進(jìn)行裝配狀態(tài)檢測，第二類目標(biāo)對象即為直徑小于10mm的微小零件。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，步驟(1)中采用若干個(gè)圖像采集設(shè)備進(jìn)行圖像采集，若干個(gè)圖像采集設(shè)備與待采集平面的距離保持一致；相鄰采集設(shè)備采集的圖像有重疊區(qū)域，且重疊區(qū)域占圖像的比例為1/6～1/5。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，根據(jù)目標(biāo)檢測精度P_v確定采集設(shè)備的參數(shù)，目標(biāo)檢測精度P_v為待檢測目標(biāo)在圖像上的像素個(gè)數(shù)P_h與實(shí)際尺寸h之比，目標(biāo)檢測精度P_v的大于3像素每毫米。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，步驟(2)傾斜校正具體方法如下：

步驟(21)：基于原始圖像，通過霍夫變換對圖像中的直線進(jìn)行檢測；

步驟(22)：計(jì)算每條直線的傾斜角，求其平均值；

步驟(23)：通過求得的傾斜角平均值對原始圖像進(jìn)行旋轉(zhuǎn)，使得復(fù)雜機(jī)電產(chǎn)品的外框架在圖像上呈近似水平或垂直狀態(tài)。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，步驟(2)中的圖像拼合具體方法如下：

步驟(24)：圖像特征點(diǎn)提取：采用SURF作為特征點(diǎn)提取算法；

步驟(25)：圖像特征點(diǎn)匹配：進(jìn)一步篩選兩張圖片中的特征點(diǎn)，獲取更優(yōu)圖像匹配點(diǎn)；

步驟(26)：圖像配準(zhǔn)：通過步驟(25)得到了兩幅待拼接圖像的匹配點(diǎn)集，將兩幅圖像轉(zhuǎn)換到同一坐標(biāo)下；

采用RANSAC算法尋找最佳單應(yīng)性矩陣H，矩陣大小為3×3，方程如下：

其中(x,y)表示目標(biāo)圖像角點(diǎn)位置，(x’,y’)為場景圖像角點(diǎn)位置，s為尺度參數(shù)，RANSAC算法從匹配數(shù)據(jù)集中隨機(jī)抽出4個(gè)樣本并保證這4個(gè)樣本之間不共線，計(jì)算出單應(yīng)性矩陣，然后利用這個(gè)模型測試所有數(shù)據(jù)，并計(jì)算滿足這個(gè)模型數(shù)據(jù)點(diǎn)的個(gè)數(shù)與投影誤差、即代價(jià)函數(shù)，若此模型為最優(yōu)模型，則對應(yīng)的代價(jià)函數(shù)最小；

代價(jià)函數(shù)的計(jì)算公式如下：

步驟(27)：圖像融合：將圖像配準(zhǔn)得到的單應(yīng)性矩陣對圖像進(jìn)行變換，再將變換后的圖像進(jìn)行拼接。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，步驟(3)中的目標(biāo)檢測模型的訓(xùn)練具體為：

獲取若干張復(fù)雜機(jī)電產(chǎn)品完整圖像；

對復(fù)雜機(jī)電產(chǎn)品完整圖像進(jìn)行標(biāo)注，標(biāo)注內(nèi)容為裝配單元的圖像位置，形式為(Px,Py,m,n)，其中Px，Py為裝配單元中心點(diǎn)在圖像上的坐標(biāo)，m、n分別為標(biāo)注框橫、縱向尺寸占圖像橫、縱向的比例；

基于標(biāo)注后的復(fù)雜機(jī)電產(chǎn)品完整圖像，訓(xùn)練獲得裝配單元目標(biāo)檢測模型。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，步驟(4)目標(biāo)檢測模型的訓(xùn)練具體為：

裁剪出的裝配單元圖像，對第一類目標(biāo)對象進(jìn)行圖像標(biāo)注，標(biāo)注內(nèi)容為第一類目標(biāo)對象的圖像位置；形式為(Px,Py,m,n)，其中Px，Py為第一類目標(biāo)對象中心點(diǎn)在圖像上的坐標(biāo)，m、n分別為標(biāo)注框橫、縱向尺寸占圖像橫、縱向的比例；

基于標(biāo)注后的裝配單元圖像，訓(xùn)練獲得第一類目標(biāo)對象檢測模型。