[發明專利]適用于儲罐金屬立面表面場景的深度學習語義分割方法

在審

• 申請號: 201911391140.5
• 申請日: 2019-12-30
• 公開（公告）號: CN111222512A
• 公開（公告）日: 2020-06-02
• 發明（設計）人: 張小俊;王志鵬;孫凌宇;萬媛
• 申請（專利權）人: 河北工業大學
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 天津盛理知識產權代理有限公司 12209
• 代理人: 王利文

本發明涉及一種適用于儲罐金屬立面表面場景的深度學習語義分割方法，其技術特點是：采集制作儲罐金屬立面表面場景的數據集；構建包括輸入層、卷積層、反卷積層、SoftMax層和輸出層的語義分割網絡模型；對儲罐金屬立面表面場景的數據集進行預處理，得到訓練數據集和測試數據集；根據訓練數據集和測試數據集對語義分割網絡模型進行訓練并生成圖像。本發明針對儲罐金屬里面表面場景數據特點通過構建深度學習語義分割網絡，語義分割綜合了圖像分割任務和物體識別任務，對圖像進行像素級別的分類，返回帶有語義信息的分割圖像，將其應用爬壁機器人上，能夠更加靈活可靠地完成各項工作。

技術領域

本發明屬于計算機圖形學與多媒體技術領域，尤其是一種適用于儲罐金屬立面表面場景的深度學習語義分割方法。

背景技術

利用爬壁機器人對石化儲罐表面進行檢測維護作業的方式取代了以往搭建腳手架的人工維護方式，不僅提高了工作效率，也極大地減小了對工作人員生命安全的威脅。但是，儲罐的表面情況較為復雜，以應用最為廣泛地拱頂儲罐為例，除壁面之外，還存在著加強圈、旋梯、消防噴淋管以及密封圈、取樣口、人孔等裝置，這些裝置使罐體壁面的復雜性大大提高，而機器人缺乏對這些附件的辨別能力，因而在一定程度上降低了爬壁機器人工作時的靈活性和可靠性。

使機器人對工作場景擁有較高的理解能力，是提高機器人自主能力的關鍵。對石化儲罐壁面場景而言，只有機器人擁有了對壁面上不同裝置的“認知能力”，才能使爬壁機器人能夠更加靈活可靠的完成各項工作。傳統的機器人感知技術雖然能夠獲取儲罐表面附件的位置信息和幾何信息，但并不能完全理解環境中具體物體的所包含的語義信息，無法判斷物體之間的相互邏輯關系。

發明內容

本發明的目的在于克服現有技術的不足，提出一種設計合理、精度高且能夠滿足復雜環境的適用于儲罐金屬立面表面場景的深度學習語義分割方法。

本發明解決其技術問題是采取以下技術方案實現的：

一種適用于儲罐金屬立面表面場景的深度學習語義分割方法，包括以下步驟：

步驟1、采集制作儲罐金屬立面表面場景的數據集；

步驟2、構建包括輸入層、卷積層、反卷積層、SoftMax層和輸出層的語義分割網絡模型；

步驟3、對儲罐金屬立面表面場景的數據集進行預處理，得到訓練數據集和測試數據集；

步驟4、根據訓練數據集和測試數據集對語義分割網絡模型進行訓練并生成圖像。

進一步，所述步驟1的具體實現方法為：首先采集儲罐金屬立面表面場景的消防噴淋管、加強圈、壁面、旋梯、排污管道和電線管道的圖像并以不同顏色進行標注，然后對其進行數據增強和灰度化處理。

進一步，所述步驟2的具體構建方法包括以下步驟：

步驟2.1、所述語義分割網絡模型由一個輸入層、三個卷積模塊和殘差連接模塊、四個反卷積層、一個SoftMax層和一個輸出層構成，三個卷積模塊和八個殘差連接模塊共包括47個卷積層，每個卷積層后都進行Relu和BN操作，并進行Zero-Padding填充；

步驟2.2、特征圖經第一個卷積層后，進入第一個卷積模塊，一方面通過三個卷積層進行特征提取，另一方面經過一個卷積層進行特征提取，將生成的兩種特征圖通過相加得到新的特征圖A；

步驟2.3、特征圖A進入第一個殘差連接模塊，通過三次卷積后生成特征圖后與特征圖A相加，生成特征圖B；

步驟2.4、特征圖B進入第二個殘差連接模塊，通過三次卷積后生成特征圖后與特征圖B相加，生成特征圖C；

步驟2.5、特征圖C進入第二個卷積模塊，一方面通過三個卷積層進行特征提取，另一方面經過一個卷積層進行特征提取，生成的兩種特征圖通過相加得到新的特征圖D；