[發明專利]一種飛機裝配的智能監測方法

在審

• 申請號: 202110989035.2
• 申請日: 2021-08-26
• 公開（公告）號: CN113706501A
• 公開（公告）日: 2021-11-26
• 發明（設計）人: 謝穎;陳麗麗;王浩;楊冬;安云鳳
• 申請（專利權）人: 成都飛機工業（集團）有限責任公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T5/00;G06K9/62;G06N3/08;G06T3/40
• 代理公司: 成都君合集專利代理事務所(普通合伙) 51228
• 代理人: 尹玉

1.一種飛機裝配的智能監測方法，其特征在于，包括以下步驟：

步驟S01：采集需要檢測的飛機零部件的樣本圖像；

步驟S02：對采集的樣本圖像物體的特征進行提取、標記，并得到飛機裝配圖像數據；

步驟S03：建立圖像識別算法模型，并采用飛機裝配圖像數據對圖像識別算法模型進行訓練得到訓練好的識別檢測模型；

步驟S04：采集零部件實物圖像，使用訓練好的識別檢測模型對物體識別和狀態監測；

步驟S05：將檢測結果在前端頁面進行展示。

2.根據權利要求1所述的一種飛機裝配的智能監測方法，其特征在于，所述步驟S01中需要對采集的圖像的亮度進行均勻化處理，包括以下步驟：

S011：在飛機待檢艙體上設置測量基準，通過固定在六自由度工業機器人上的相機調姿定位子系統將相機調整到指定位置姿態的拍攝點，在拍攝點下使用線控光源與工業相機結合進行采集樣本圖像；將光源亮度設置為[0,50,100,150,200]5個亮度等級，并在各亮度下通過工業相機采集得到各拍攝點的采集圖像；

S012：在一個拍攝點的采集圖像中，選擇清晰度最高的圖像所在亮度等級位置，選擇前后連續的三個亮度等級，以對焦微調的二項式求解極值的方式計算獲取最佳亮度值；然后，在最佳亮度值所在的一個相對較小的領域內，重定義一組可選光源亮度等級，在具體圖像采集時，使用定義的可選光源亮度，對待檢物進行一系列的圖像采集；然后對采集到的圖像，進行局部清晰度計算，局部清晰度按下式計算：

其中：

R(x,y)為清晰度矩陣；

Gray(x,y)為像素點位置的灰度值，灰度是一個二維矩陣，其中Grad_x、Grad_y分別為x、y維度梯度；

則對每張圖像，都可以獲得一個清晰度矩陣R(x,y)，并獲取圖像上各像素點位置的灰度值Gray(x,y)與亮度值Bright(x,y)；均勻化亮度的圖像Even_Img按下式從獲取的圖像集Imgs進行獲取：

其中：

argmax是指取得最大參數值的索引，argmax imgs是指這個括號取值最大的那張圖片的索引，外面再加imgs就得到了那張圖片；

以imgs作為上標，標識處這個值的取值范圍，在imgs這個之前采集的圖片集合下進行。

Imgs是指多亮度條件下對同一目標拍攝獲取的圖像集合。

為圖像集合的清晰度矩陣；

為圖像集合的像素點位置的灰度值；

Bright(x,y)為亮度值；

參考多幅圖像所產生的清晰度矩陣與灰度矩陣，選擇出各拍攝點采集圖像中質量較好的圖像，并將圖像進行拼合后得到樣本圖像；

S013：采集完成后將樣本圖像進行上傳至服務端進行數據化存儲。

3.根據權利要求2所述的一種飛機裝配的智能監測方法，其特征在于，所述步驟S012中所述灰度值為圖像轉為灰度圖后像素的取值，所述亮度值表示該像素位置所在的一個鄰域上的平均灰度，所述平均灰度使用矩形平滑濾波核對圖像進行濾波后獲取。

4.根據權利要求1所述的一種飛機裝配的智能監測方法，其特征在于，所述步驟S02包括以下步驟：

S021：對采集的樣本圖像的影像內容、特征、結構、關系、紋理及灰度的特征進行預處理；

S022：使用標注軟件對樣本圖像進行標注并得到圖片的標注信息，標識出樣本圖像中被識別出的所有可檢測目標，形成飛機裝配圖像數據。

5.根據權利要求1所述的一種飛機裝配的智能監測方法，其特征在于，所述步驟S03包括以下步驟：

S031：搭建基于遷移學習模型的圖像識別算法模型，通過項目所采集到的飛機裝配圖像數據對模型進行在訓練，從而完成模型從預訓練數據集到本數據集的遷移識別效果；

S032：利用尺度不變特征的多圖像模板匹配方法，基于所采集的飛機裝配圖像的內容、特征、結構、關系、紋理及灰度的對應關系，進行圖像相似性和一致性的分析，尋找相似圖像目標并進行多圖像融合，并跟已有的裝配圖像模板進行比對識別，從而建立圖像識別算法模型。