[發明專利]帶有邊緣約束的層次化人體解析語義分割方法

在審

• 申請號: 202110750094.4
• 申請日: 2021-07-02
• 公開（公告）號: CN113379771A
• 公開（公告）日: 2021-09-10
• 發明（設計）人: 韓紅;李康;弋寧寧;魯飛鴻;趙健
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 王品華;王喜媛

本發明公開了一種帶有邊緣約束的層次化人體解析語義分割方法，主要解決現有在復雜解析場景下適應性較差，獲取豐富的人體結構語義上下文信息不足的問題。其方案是：采集與標注人像數據，并對其中的訓練數據進行預處理；構建帶有邊緣約束的層次化人體解析語義分割模型，用預處理后的訓練數據對該模型進行訓練并評價，將含有人體的圖片輸入經評價符合要求的訓練后帶有邊緣約束的層次化人體解析語義分割模型中得到分割結果圖。本發明可實現對人體解析語義分割任務邊緣特征信息的約束，改善人體解析語義分割模型在復雜場景下對人體圖像的錯分、漏分現象，有效地提升了人體解析語義分割的效果，可用于智能安防系統的實時預警及電子商務的虛擬現實換裝。

技術領域

本發明屬于圖像處理技術領域，尤其涉及一種層次化人體解析語義分割方法，可用于智能安防系統的實時預警及電子商務的虛擬現實換裝。

背景技術

隨著智能安防、虛擬現實產業的快速發展，人體解析的業務需求也隨之不斷增長。近年來，隨著安防產品智能化，以智慧社區、智慧街道等以人體為監控實體的安防體系因其自主判斷、實時預警的特點，在打擊違法犯罪，提升百姓安全感的過程中發揮著重要的作用。其主要運用人體解析技術對重點監控區域出現的人像進行分割，用于輔助監測街道社區中人群的異常行為，并能夠利用分割出的人體組分進行變電站等危險區域內的人體監測與預警。但由于布控環境復雜多樣，目標易產生遮擋，同時人體的姿態、觀察的視角、尺度等都對智能安防下的人體理解提出了較高的要求。另一方面，由于電子商務的發展和疫情帶來的影響，更多的人選擇通過電商平臺購買服裝衣物。為了節約物流成本，并方便顧客進行挑選，電商平臺利用虛擬現實技術開拓換裝業務有著較好的發展前景。該業務通過人體解析模型區分人體組分，替換對應服飾所屬分類為對應衣物，實現換裝功能。這項應用需要模型能夠較為準確地劃分出人體各組分邊緣。

語義分割是指對圖像的逐像素分類，從而實現對整個圖像區域的語義理解。人體解析是語義分割領域的重要方向之一，其是指在對含有人體的輸入圖像進行逐像素的分類，實現多語義區域的劃分，以區分出不同的人體部位例如：頭發、手臂和穿戴標簽，例如：上衣、鞋子。作為人體結構理解的一項細粒度子任務，人體解析在人機交互、虛擬現實、服裝檢索等以人體為研究對象的多個領域有著廣泛的運用。然而，由于人體姿態有多樣性，且解析個體所處場景復雜多樣，因此人體解析任務仍具有挑戰性。

為增強人體解析標簽間的約束關系，T.Ruan,T.Liu,Z.Huang,Y.Wei,S.Wei, andY.Zhao.Devil in the details:Towards accurate single and multiple humanparsing[C].Proceedings of the AAAI Conference on Artificial Intelligence,vol.33,2019,pp.4814–4821.利用提取邊緣信息對分割的人體類別標簽進行邊緣約束；研究Zhang Z,Su C,Zheng L,et al.Correlating Edge,Pose with Parsing[C]. Proceedingsof the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020:8900-8909.添加了額外的姿態標注信息用于學習姿態特征。這些方法均是從人體形態約束和人體邊緣的角度出發，采取特征融合的手段對骨干網絡特征進行融合。雖然增強了邊緣信息和人體骨架形態對解析任務的約束能力，但缺乏足夠的上下文理解和有效的消息傳遞，其中，消息傳遞是指消息節點間的消息流通，致使上述模型無法很好地適應復雜場景。