[發明專利]一種基于改進DeepLab的果園場景多類別實時分割方法

在審

• 申請號: 202010434177.8
• 申請日: 2020-05-21
• 公開（公告）號: CN111860514A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 劉慧;姜建濱;沈躍;莊珍珍
• 申請（專利權）人: 江蘇大學
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開一種基于改進DeepLab的果園場景多類別實時分割方法，涉及語義分割和計算機視覺領域。首先選擇數據集；構建一種基于DeepLab模型的改進模型，使用改進的輕量化網絡MobileNetV3作為網絡主干，用來對圖像的特征提取，可以減少網絡模型的計算量和運算時間；采用可變形的HDC(Hybrid Dilated Convolution，混合擴張卷積)代替原有的空洞卷積，可以有效緩解空間信息丟失問題，避免了網格效應，對改進后的模型進行訓練和驗證，采用新的果園場景圖像，作為輸入送至改進后的模型檢測，通過DenseCRF(dense conditional random field)的后處理得到最終的分割結果。本發明對果園環境下的多類別目標進行實時分割檢測，有利于無人農機在果園的安全運行和人員安全。

技術領域

本發明涉及計算機視覺、深度學習語義分割領域，具體涉及的是果園場景圖像采集和圖像語義分割方法。

背景技術

圖像語義分割是人工智能領域中的一個重要分支，是機器視覺技術中關于圖像理解的重要一環，語義分割的應用領域廣泛，如自動駕駛，人機交互和醫學圖像分割等。隨著信息化與智能化的快速發展，現代農業集機械化、信息化、智能化于一體，解放了大量勞動力，有利于實現優質、高產、低耗和環保的可持續發展。圖像語義分割在智能農機導航和農業場景感知等方面起到了重要的作用，林果園內的復雜環境對智能農機的運作帶來嚴峻的挑戰，那么對障礙物的精準識別顯得尤為重要。林果園內包含植株和行人、草垛、電線桿等障礙物，本發明所涉及的林果園場景的實時分割，對果園內植株等障礙物進行精準的分割，保證了智能化無人農機的安全作業。

在語義分割領域，基于深度學習的方法的精度遠高于經典的灰度分割、條件隨機場等分割方法。基于深度學習的方法有FCN、U-Net、DeepLab等方法。DeepLab方法采用了空洞卷積，雖然在不增加參數數量的情況下增加了感受野，并且降低了空間特征的損失，但是其空間信息會有所丟失，比如邊緣信息。其骨干網絡Xception消耗大量的顯存，會花費較多的時間，這表明DeepLab模型的運算速度仍可以進一步提升，雖然空洞卷積并沒有增加參數數量，但會造成網格效應，從而影響分割精度，同時我們需要減少網絡計算參數量以達到部署在移動裝備上的要求。

發明內容

本發明針對以上問題，采用改進的輕量化網絡MobileNetV3作為主干網絡，并對卷積層進行改進，減少了網絡的計算量和時間以實現實時性要求和在果園農機上的應用。

本發明的技術方案如下：

一種基于改進DeepLab的果園場景多類別實時分割方法，包括以下步驟：

步驟1：構建果園場景下多類別圖像的數據集；步驟2：在TensorFlow深度學習框架上，搭建基于改進DeepLab的語義分割模型；步驟3：將模型中的參數初始化以得到預訓練模型；步驟4：通過步驟1中的數據集對所建立的模型進行訓練；步驟5：采用ZED雙目立體相機拍攝新的果園場景圖像，并輸入至語義分割模型檢測和識別。。

進一步，所述步驟1具體包括：

1.1)采用ZED雙目攝像頭，將其裝在履帶式噴霧機上，通過上位機拍攝大量不同條件下(主要是不同天氣)果園視頻，并按一定幀數抽取圖片，按照3:1:1的比例分為訓練集、驗證集和測試集，三者沒有交集；

12)對抽取的所有圖片進行標注，標注的對象為我們所要分割的植株、行人等障礙物目標；

1.3)通過翻轉、平移、尺度、對比度變換等方法對訓練集進行預處理，并且進行特征縮放，使得所有特征在同一數量級，以獲取較好的訓練效果。

進一步，所述步驟2具體包括：

2.1)將MobileNetV3最后的1x1卷積層移除后代替原來的Xception網絡作為基礎網絡，用來特征提取；