[發明專利]一種基于貝葉斯深度多任務學習的語義分割與深度預測方法

在審

• 申請號: 202210537471.0
• 申請日: 2022-05-18
• 公開（公告）號: CN114913328A
• 公開（公告）日: 2022-08-16
• 發明（設計）人: 葛宏偉;王世豪
• 申請（專利權）人: 大連理工大學
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/44;G06V10/42;G06V10/80;G06V10/82;G06N3/04;G06N3/08;G06N7/00
• 代理公司: 遼寧鴻文知識產權代理有限公司 21102
• 代理人: 許明章;王海波

本發明屬于人工智能與計算機視覺領域，公開了一種基于貝葉斯深度多任務學習的語義分割與深度預測方法。該方法將語義分割與深度預測任務視為多任務，利用深度學習方法解決多模態問題，通過預訓練處理的主干網絡生成包含多個尺度的原始共享特征，并利用提出的貝葉斯多通道交流單元與任務共享單元實現尺度與任務特征之間的交流；最后通過設計的貝葉斯多模態蒸餾機制輸出語義分割與深度預測的結果。本發明方法核心在于設計了多尺度與多任務交流機制，并引入貝葉斯深度學習設計了貝葉斯門控機制，并顯著提高語義分割與深度預測任務的精度。本發明作為一種基于貝葉斯深度多任務學習的語義分割與深度預測方法，可廣泛應用于自動駕駛以及智能機器人領域。

技術領域

本發明屬于人工智能與計算機視覺領域，具體涉及一種基于貝葉斯深度多任務學習的語義分割與深度預測方法。

背景技術

語義分割與深度預測任務主要是對圖像信息進行理解，針對給定的圖像實現不同像素的語義分類與深度信息估計。語義分割與深度預測作為計算機視覺中的基本任務，在自動駕駛汽車和智能機器人等領域發揮著至關重要的作用，在這些應用的領域中需要深入理解周圍環境等。

近些年來，卷積神經網絡在計算機視覺領域的許多任務中性能得到了極大的提升，如實例分割與深度預測等領域。通常情況下，一個卷積神經網絡被設計成僅解決一個獨立的視覺任務，然而在真實世界中需要解決大量多模態的問題，這些問題同時存在共性與特異性，例如在自動駕駛對周圍環境的感知與理解。因此利用深度學習解決多任務問題是一個具有前景的研究方向，與單任務學習相比，多任務學習具有較少資源利用率、推理速度提升等優點，同時它可以同時學習語義分割與深度預測任務，具有更強的可擴展性，而且在工業領域中具有很大應用價值。

近期一部分有關語義分割與深度預測的多任務學習工作嘗試引入多尺度概念增強模型場景理解能力。Zhang等人遞歸地在由粗至細的尺度序列上進行任務學習，細化并促進語義分割與深度預測任務(Zhang Z,Cui Z,Xu C,et al.Joint task-recursivelearning for semantic segmentation and depth estimation[C]//Proceedings ofthe European Conference on Computer Vision(ECCV).2018:235-251.)。Simon等人在多個尺度上進行多模態蒸餾實現信息交互(Vandenhende S,Georgoulis S,Gool L V.Mti-net:Multi-scale task interaction networks for multi-task learning[C]//European Conference on Computer Vision.Springer,Cham,2020:527-543.)。盡管現有工作證明了多尺度信息交流在視覺多任務學習中的有效性，但在這些方法中僅存在有限的尺度信息傳輸。在這些網絡中低尺度場景信息通過提取部分特征流向高尺度場景。同時多任務深度學習存在兩個挑戰：(1)由于共享層結構設計的不合理，導致構建的融合特征無法包含充足的共享信息，從而進一步影響各個任務提取信息的能力。(2)如何制定有效的多任務信息交流策略。一個優秀的交流機制可以調節語義分割與深度預測任務間的聯合學習，能夠讓每個任務更加有效利用上下文知識中其他成員信號。本發明旨在于解決上述兩個關鍵的語義分割與深度預測多任務問題。

發明內容

為了解決上述技術問題，本發明的目的是提供一種基于貝葉斯深度多任務學習的語義分割與深度預測方法。該方法在多任務網絡編碼階段設計了雙向感受野流通結構，以促進尺度與任務間的特征交流，并在深度共享網絡的不同信息交流階段中引入門控機制，以過濾信息流。在此門控機制中引入貝葉斯深度學習方法從而提高深度神經網絡的泛化能力，并為模型提供不確定性表示。

對于第一個問題，本發明提出一種用于計算機視覺密集任務的新型的多尺度多任務網絡結構。它通過尺度信息與任務信息的充分交流，提升語義分割與深度預測任務的性能表現。