[發(fā)明專利]基于Resnet與LSTM的膠囊機器人排水管網(wǎng)缺陷識別方法在審
| 申請?zhí)枺?/td> | 202010874511.1 | 申請日： | 2020-08-27 |
| 公開（公告）號： | CN111986188A | 公開（公告）日： | 2020-11-24 |
| 發(fā)明（設計）人： | 李清泉;楊昊坤;朱家松;朱松 | 申請（專利權）人： | 深圳市智源空間創(chuàng)新科技有限公司 |
| 主分類號： | G06T7/00 | 分類號： | G06T7/00;G06K9/62;G06N3/04;G06N3/08 |
| 代理公司： | 深圳市深可信專利代理有限公司 44599 | 代理人： | 劉昌剛 |
| 地址： | 518000 廣東省深圳市寶安區(qū)西鄉(xiāng)街道龍*** | 國省代碼： | 廣東;44 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 基于 resnet lstm 膠囊 機器人 排水 管網(wǎng) 缺陷 識別 方法 | ||
本發(fā)明公開了一種基于Resnet與LSTM的膠囊機器人排水管網(wǎng)缺陷識別方法，涉及排水管道檢測技術領域；該方法包括以下的步驟：S1、圖像序列的輸入與矩陣轉(zhuǎn)化，將標記好的由膠囊機器人采集的排水管道缺陷圖像序列輸入到長期卷積網(wǎng)絡LRCN中，這些圖像會在輸入至長期卷積網(wǎng)絡LRCN之前進行矩陣轉(zhuǎn)化；S2、圖像特征的提取，排水管道缺陷圖像序列輸入后，被分割成多個單幀圖像，此后輸入到殘差網(wǎng)絡Resnet50中提取圖像特征；S3、雙向長短期記憶網(wǎng)絡Bi?LSTM的處理；S4、預測結(jié)果的分類，雙向長短期記憶網(wǎng)絡BI?LSTM預測每個時間步的視頻類別，并將預測結(jié)果整合為最終的分類；本發(fā)明的有益效果是：可以顯著降低人工檢測的時間，提高膠囊機器人的作業(yè)效率。
技術領域
本發(fā)明涉及排水管道檢測技術領域，更具體的說，本發(fā)明涉及一種Resnet與LSTM的膠囊機器人排水管網(wǎng)缺陷識別方法。
背景技術
排水系統(tǒng)是城市雨、污水排放的重要通道，也是維護城市安全運行的生命線。然而，在排水管道運行維護管理過程中，由于負荷流量遠超設計標準、管道設施老化、地鐵等重大新建地下工程、地下檢測手段不足等因素，越來越多的排水管道問題不斷暴露；因此，對排水管道的檢測和評估就顯得尤為重要。
然而，作為排水管道檢測的主要技術--CCTV也存在成本高、效率低、操作繁瑣等一系列缺點。為此，研發(fā)了一種漂浮在水面上的低成本排水管道檢測設備--膠囊機器人。膠囊機器人成本更低、操作更簡單、效率更高、測量范圍更廣，滿足了城市排水系統(tǒng)大范圍、高頻率缺陷檢測的需求。
但人工解讀大量膠囊機器人檢測視頻費時費力，不僅需要相當?shù)膶I(yè)知識，而且缺陷識別的客觀性和準確性也無法保證。以往的排水管道缺陷自動識別大多采用傳統(tǒng)的基于特征提取器的機器學習方法，如HOG、SIFT等，這些方法通常只針對特定的任務而設計，導致實際應用中的泛化能力較差。再加上魚眼畸變、抖動模糊等檢測模式導致的圖像質(zhì)量問題較差，膠囊機器人使用傳統(tǒng)方法的可行性遠不如CCTV。
發(fā)明內(nèi)容
為了克服現(xiàn)有技術的不足，本發(fā)明提供一種基于Resnet與LSTM的膠囊機器人排水管網(wǎng)缺陷識別方法，可以顯著降低人工檢測的時間、人力和物力成本，提高膠囊機器人的作業(yè)效率。
本發(fā)明解決其技術問題所采用的技術方案是：一種基于Resnet與LSTM的膠囊機器人排水管網(wǎng)缺陷識別方法，其改進之處在于，該方法包括以下的步驟：
S1、圖像序列的輸入與矩陣轉(zhuǎn)化，將標記好的由膠囊機器人采集的排水管道缺陷圖像序列輸入到長期卷積網(wǎng)絡LRCN中，這些圖像會在輸入至長期卷積網(wǎng)絡LRCN之前進行矩陣轉(zhuǎn)化，由jpg格式轉(zhuǎn)化為224*224*3的三維矩陣；
S2、圖像特征的提取，排水管道缺陷圖像序列輸入后，被分割成多個單幀圖像，此后輸入到殘差網(wǎng)絡Resnet50中提取圖像特征，提取圖像特征的過程如下：
S21、輸入的圖像先經(jīng)過一個7*7的卷積核，步長為2，圖像輸出為112*112*64；
S22、再經(jīng)過一個最大池化層，內(nèi)核大小為3*3，步長為2，圖像輸出為56*56*64；
S23、再經(jīng)過16個殘差塊，特征圖的大小逐漸減小，通道數(shù)增加，圖像的輸出為7*7*2048；
S24、最后經(jīng)過平均池化層，轉(zhuǎn)化為2048維的向量；
S25、所述的平均池化層之后設置有三個包括512、256以及64個神經(jīng)元的全連接層，其用于將圖像特征降維為64維向量；
S3、雙向長短期記憶網(wǎng)絡Bi-LSTM的處理，具有時間關聯(lián)的圖像特征被輸入后續(xù)的雙向長短期記憶網(wǎng)絡Bi-LSTM中，進行處理；
S4、預測結(jié)果的分類，雙向長短期記憶網(wǎng)絡BI-LSTM預測每個時間步的視頻類別，并將預測結(jié)果整合為最終的分類。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于深圳市智源空間創(chuàng)新科技有限公司，未經(jīng)深圳市智源空間創(chuàng)新科技有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業(yè)授權和技術合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202010874511.1/2.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
- 用于高階長短期記憶網(wǎng)絡的系統(tǒng)和方法
- 基于深度學習LSTM的空調(diào)故障診斷方法
- 基于注意力機制的時間序列預測方法、裝置及存儲介質(zhì)
- 一種基于PCA-LSTM網(wǎng)絡的廢水處理智能監(jiān)控方法
- 一種基于FAF-LSTM深度神經(jīng)網(wǎng)絡的居民負荷預測方法及系統(tǒng)
- 用于預測血糖水平的循環(huán)神經(jīng)網(wǎng)絡裝置和系統(tǒng)
- 基于情景LSTM結(jié)構(gòu)網(wǎng)絡的微博情感分析方法
- 語音信號處理方法、裝置、電子設備和存儲介質(zhì)
- 基于約束并行LSTM分位數(shù)回歸的電力負荷概率預測方法
- 基于深度網(wǎng)絡AS-LSTM的命名實體識別系統(tǒng)及識別方法
