[發明專利]用于智能泵腔體內窺鏡圖像的深度信息恢復方法

在審

• 申請號: 202110871599.6
• 申請日: 2021-07-30
• 公開（公告）號: CN113436243A
• 公開（公告）日: 2021-09-24
• 發明（設計）人: 董國慶;李玉道;程一飛;張寧寧;張帥帥
• 申請（專利權）人: 濟寧安泰礦山設備制造有限公司
• 主分類號: G06T7/50
• 分類號: G06T7/50;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京正聯知識產權代理有限公司 32243
• 代理人: 李寰

本發明屬于計算機圖像處理技術領域，具體地說，是一種用于智能泵腔體內窺鏡圖像的深度信息恢復方法，包括以下流程：流程一、搭建網絡整體架構，流程二、構建編碼器，流程三、構建解碼器，流程四、分類深度值；本發明提出的LL?ENet基于ENet進行兩點改進：通過將原有常規卷積進行全部替換為深度可分離卷積，在保證準確度的情況下進一步減少網絡參數；采用擴張空間金字塔池化增加特征訓練的尺度不變性。同時改進后的LL?ENet進行訓練過程中，采用基于序數回歸的深度值SID分類策略，減少真實值與估計值間的誤差。

技術領域

本發明屬于計算機圖像處理技術領域，具體地說，是一種用于智能泵腔體內窺鏡圖像的深度信息恢復方法。

背景技術

智能泵的泵內部零件多且精細，基于此，人眼無法完整的觀察到泵內部的零件具體情況，無法準確探查泵里面具體部位的缺陷以及瑕疵，開裂，焊縫不完整及腐蝕生銹等。基于此利用機器代替人眼來進行泵內零件的檢測以及泵內管道的探查變的極為重要。但是由于泵內狹小，光照無法準確探測到每一個具體位置，故利用相機采集到的圖片存在模糊，清晰度低以及圖片不夠完整等現象，所以利用單目圖像深度信息進行圖片信息恢復顯得極為重要。

單目圖像深度信息恢復最初是借助于圖像分類模型的方法，然而過于反復的最大池化層和卷積層使得圖像的特征圖不斷減小，因此很難準確的估計每一個像素的深度值，因此為了恢復特征圖，部分學者提出可以應用具有細化卷積層的多尺度結構或多層反卷積的網絡進行特征映射，使得生成的特征圖與原圖大小一致。但是上述方法的缺點也顯而易見，由于神經網絡模型的增大而導致需要更大的算力資源，很難在實際應用場景中得到實驗室中的理想結果。

基于DNN的模型結構，Wen等人提出了一種結構化稀疏的學習方法(StructuredSparsityLearning,SSL)，SSL可以在大型的DNN模型中得到其具有壓縮性質的稀疏網絡結構，以降低本身DNN模型訓練的成本和所需資源的大小。Huang等人提出了更為簡單有效的框架，以端到端的方式進行學習和剪裁深層模型，這個框架中引入了一個新的參數類型—縮放因子，通過添加稀疏正則化并使用經修改的隨機變量來縮放特定結構(例如神經元，組或殘差塊)的輸出加速近端梯度(accelerated proximal gradient，APG)。上述方法可以有效的適用于一般的分類網絡，但是在估計稠密深度圖的問題中就尤顯乏力，這是由于稠密深度圖的估計過程是基于圖像特征和圖像語義信息之間的相關性，使用上述方法可能會因為損失特征密度而導致預估結果的精確度及網絡性能的降低。

感受野的增大必然會伴隨卷積層數的增多使得訓練參數隨著感受野的增大而增加。ENet使用膨脹卷積和非對稱卷積，通過濾波器減少參數的整體數量的同時也可以保證感受野的廣度，解決上述訓練參數冗雜的問題。然而即使ENet已經是被減負的模型，但是在頻繁的上采樣過程中也會增加神經網絡的參數數量，影響網絡性能。同時輸入圖像存在多尺度問題，有大有小。常見的處理方式是使用圖像金字塔，其原理在于將圖像以不同尺寸輸入，獲得不同尺度的特征圖再進行通道融合，這種方法雖然能夠提升網絡預測的準確率，但是所帶來的另一個問題就是造成網絡處理速度的減慢。

發明內容

本發明所要解決的技術問題是現有技術中使用圖像金字塔，其原理在于將圖像以不同尺寸輸入，獲得不同尺度的特征圖再進行通道融合所帶來的網絡處理速度的減慢的問題。

為了解決上述技術問題，本發明采用的技術方案如下：

一種用于智能泵腔體內窺鏡圖像的深度信息恢復方法，包括以下流程：

流程一、搭建網絡整體架構，

流程二、構建編碼器；

流程三、構建解碼器；

流程四、分類深度值。