[發(fā)明專利]一種基于云邊協(xié)同與深度學(xué)習(xí)的飛機(jī)表面缺陷檢測系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202011320279.3
• 申請日: 2020-11-23
• 公開（公告）號: CN112419401A
• 公開（公告）日: 2021-02-26
• 發(fā)明（設(shè)計）人: 賀順杰;楊博;陳彩蓮;關(guān)新平
• 申請（專利權(quán)）人: 上海交通大學(xué)
• 主分類號: G06T7/70
• 分類號: G06T7/70;G06T7/11;G06T7/00;G06N3/08;G06N3/04;G06K9/62;G06K9/00
• 代理公司: 上海旭誠知識產(chǎn)權(quán)代理有限公司 31220
• 代理人: 鄭立

本發(fā)明公開了一種基于云邊協(xié)同與深度學(xué)習(xí)的飛機(jī)表面缺陷檢測系統(tǒng)，涉及圖像檢測領(lǐng)域，包括云端、邊緣側(cè)、終端；所述系統(tǒng)使用了兩種用于缺陷檢測的神經(jīng)網(wǎng)絡(luò)，一種是部署在所述邊緣側(cè)的輕量化的小型神經(jīng)網(wǎng)絡(luò)，而另一種是部署在所述云端的大型神經(jīng)網(wǎng)絡(luò)；所述邊緣側(cè)先對所述終端采集到的圖片進(jìn)行檢測，得到初步的檢測結(jié)果，并將缺陷圖片過濾出來，之后將所述缺陷圖片上傳至所述云端，利用所述大型神經(jīng)網(wǎng)絡(luò)精確檢測出缺陷位置和缺陷種類，最后將結(jié)果回傳至所述邊緣側(cè)。本發(fā)明通過云邊協(xié)同，降低了系統(tǒng)整體的時延，也提高了網(wǎng)絡(luò)資源的利用率。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像檢測領(lǐng)域，尤其涉及一種基于云邊協(xié)同與深度學(xué)習(xí)的飛機(jī)表面缺陷檢測系統(tǒng)。

背景技術(shù)

飛機(jī)表面缺陷檢測是飛機(jī)生產(chǎn)制造以及日常維護(hù)中非常關(guān)鍵的一環(huán)，機(jī)身表面的腐蝕、坑洞、裂紋如果不及時進(jìn)行補(bǔ)救，很可能在飛機(jī)飛行途中造成無法挽回的損失。目前，飛機(jī)表面的缺陷檢測一般采用人眼觀察的方式進(jìn)行，通過安排有技術(shù)經(jīng)驗(yàn)的工人對飛機(jī)表面某片區(qū)域進(jìn)行檢查來發(fā)現(xiàn)可能存在的缺陷。人工檢查的方法比較穩(wěn)定但是存在許多缺陷，首先人的主觀意志可能會導(dǎo)致對缺陷的誤判，疲勞的工作狀態(tài)和不同的燈光環(huán)境也有可能導(dǎo)致工人對表面缺陷的遺漏和誤判。其次，飛機(jī)的體型相對于人來說及其龐大，維修工人進(jìn)行表面檢測時需要借助外部的平臺，極其不便，而且也很有可能導(dǎo)致安全事故的發(fā)生。第三，人工檢測的效率及其低下，在航班班次頻繁以及飛機(jī)批量生產(chǎn)過程中可能難以滿足其企業(yè)的質(zhì)檢需求。

針對人工檢測的不足，目前已經(jīng)有研究團(tuán)隊(duì)提出了幾種自動表面缺陷檢測的方法。第一種是采用傳統(tǒng)圖像檢測方法，利用圖像檢測技術(shù)提取圖片中某種具體的缺陷。具體的操作流程是先對圖像邊界進(jìn)行提取，去除不必要的邊緣信息；再對圖像進(jìn)行分割，提取出潛在的缺陷存在區(qū)域；然后利用合適的濾波器濾去不必要的噪聲信息；最后使用sobel算子或其他邊緣檢測算法提取缺陷。

第二種是使用基于深度學(xué)習(xí)的圖像檢測方法。深度學(xué)習(xí)是近年來人工智能領(lǐng)域中一個重要的研究熱點(diǎn)，它的出現(xiàn)使計算機(jī)實(shí)現(xiàn)了一定程度上的智能化。深度學(xué)習(xí)的主要思想是通過人工給計算機(jī)搭建一個類似人腦神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)網(wǎng)絡(luò)，來使機(jī)器獲得一定的學(xué)習(xí)能力。通過人工搭建的深度學(xué)習(xí)網(wǎng)絡(luò)，計算機(jī)能自主學(xué)習(xí)樣本數(shù)據(jù)的內(nèi)在規(guī)律和表示層次，并獲得對同類型樣本數(shù)據(jù)的分析和判斷能力。這里的樣本數(shù)據(jù)主要包括圖像、文字、數(shù)據(jù)、語音等等。基于深度學(xué)習(xí)的圖像檢測方法首先需要選擇合適的深度學(xué)習(xí)網(wǎng)絡(luò)，其次需要大量標(biāo)定好缺陷位置和缺陷種類的圖片對網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使其獲得學(xué)習(xí)的能力。訓(xùn)練完成之后，若給網(wǎng)絡(luò)輸入同樣類型的照片，它就能自主給出這張圖片內(nèi)的缺陷位置和缺陷種類。在實(shí)際應(yīng)用中，一般在工業(yè)現(xiàn)場部署攝像頭以采集待檢測區(qū)域的表面圖像，之后圖像通過網(wǎng)絡(luò)傳輸至云服務(wù)器。云服務(wù)器部署有訓(xùn)練好的深度學(xué)習(xí)網(wǎng)絡(luò)，對上傳的圖片進(jìn)行缺陷位置和種類的判斷，之后將判斷結(jié)果回傳至工業(yè)現(xiàn)場，以輔助工程人員進(jìn)行檢修。

對于傳統(tǒng)圖像檢測方法，首先，它的泛化性不強(qiáng)，針對不同的缺陷需要設(shè)計不同的檢測算法。其次，它非常依賴于專家知識和經(jīng)驗(yàn)，在設(shè)計缺陷檢測算法時，需要非常了解缺陷的結(jié)構(gòu)和外形，對先驗(yàn)知識要求較高。對于基于深度學(xué)習(xí)的圖像檢測方法，首先，工業(yè)環(huán)境下的網(wǎng)絡(luò)資源是有限的，上傳圖片到云服務(wù)器會消耗大量的網(wǎng)絡(luò)資源，而且可能會擠占其他工業(yè)應(yīng)用的網(wǎng)絡(luò)資源。其次，表面缺陷檢測的結(jié)果需要實(shí)時展示，但是在云體系下，因?yàn)楝F(xiàn)場網(wǎng)絡(luò)的限制，會產(chǎn)生大量的延時，影響檢測系統(tǒng)的實(shí)時性。

為此，本領(lǐng)域的技術(shù)人員致力于開發(fā)一種基于云邊協(xié)同與深度學(xué)習(xí)的飛機(jī)表面缺陷檢測系統(tǒng)，提高檢測結(jié)果的準(zhǔn)確性。

發(fā)明內(nèi)容

有鑒于現(xiàn)有技術(shù)的上述缺陷，本發(fā)明所要解決的技術(shù)問題是如何提高圖像檢測方法的泛用性，保證準(zhǔn)確率的同時，降低延時，以及系統(tǒng)在部署到現(xiàn)場后隨著檢測次數(shù)的增多能自主優(yōu)化檢測算法，從而提高檢測的準(zhǔn)確率。