[發(fā)明專利]基于混合擴張網(wǎng)絡的實時分割系統(tǒng)與方法

在審

• 申請?zhí)枺?/td>: 202010951015.1
• 申請日: 2020-09-11
• 公開（公告）號: CN112101366A
• 公開（公告）日: 2020-12-18
• 發(fā)明（設計）人: 蔣斌;何建凱;楊超
• 申請（專利權(quán)）人: 湖南大學
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06N3/04
• 代理公司: 長沙新裕知識產(chǎn)權(quán)代理有限公司 43210
• 代理人: 梁小林

本發(fā)明涉及一種基于混合擴張網(wǎng)絡的實時分割系統(tǒng)與方法，屬于計算機視覺領域；包括主干網(wǎng)MobileNet v2和輕量級的混合空洞卷積模塊；輕量級的混合空洞卷積模塊通過多尺度信息和有效的注意機制，在準確性和高效率方面實現(xiàn)全面的權(quán)衡；輕量級的混合空洞卷積模塊主要包括深度可分離注意力模塊和混合多尺度模塊；深度可分離注意模塊為單層混合卷積設計。一方面，它可以通過增加網(wǎng)絡的深度來增強信息的表達。另一方面，深度可分離卷積對每個信道分別執(zhí)行卷積分離，從而減少了參數(shù)大小和計算成本。

技術(shù)領域

本發(fā)明涉及計算機視覺領域，具體的說，涉及一種基于混合擴張網(wǎng)絡的實時分割系統(tǒng)與方法。

背景技術(shù)

目前，各類傳感器應用圖像分割技術(shù)，具備了對環(huán)境感知的能力，能夠分割識別圖片中的各項信息，傳感器通過對周圍的場景感知決定后續(xù)工作，其應用的圖像分割模型通常分為兩種，一種是端到端的語義分割模型，另一種是實時分割模型。

為了提高分割圖片的準確性，以往的端到端的方法往往設計出更為復雜的語義分割結(jié)構(gòu)，如多尺度、密集連接策略等。Chen等人提出了DeepLab系列，主要提出利用不同采樣率的擴展卷積來捕獲多尺度信息的金字塔池化模塊(ASPP)。ASPP在分割精度方面取得了顯著的提高，但通常模型繁瑣，計算代價較為高昂。由于硬件設備存儲的局限性，這些方法不適用于小型和實時設備。

為了解決上述問題，目前的工作主要集中在設計有效的特征重用和卷積分解等策略上。Andrew Howard等人，提出了MobileNet系列模型，利用了深度可分離卷積，它將一個傳統(tǒng)卷積分解一個深度卷積和一個1×1的逐點卷積，對每個單個輸入通道應用單個濾波器進行濾波，然后逐點卷積應用1×1的卷積操作來結(jié)合所有深度卷積得到的輸出，此操作可以減少參數(shù)和模型大小。然而這些實時模型存在信息提取能力不足、丟失詳細信息等問題，導致精度性能下降，難以滿足實際應用中對于復雜路況的分割需求。

發(fā)明內(nèi)容

本發(fā)明針對上述現(xiàn)有技術(shù)的缺失，利用語義分割技術(shù)實現(xiàn)對圖片進行實時分割識別的系統(tǒng)與方法，提出一種既能較為精準又能做到實時的分割的模型；具體涉及一種基于混合擴張網(wǎng)絡的實時分割系統(tǒng)與方法。

本發(fā)明通過以下技術(shù)方案實現(xiàn)，包括輕量化主干網(wǎng)絡MobileNet v2、混合空洞卷積模塊；

混合空洞卷積模塊由輕量級的空間金字塔注意模塊、全局信息增強模塊組成；

所述的輕量級的空間金字塔注意模塊通過多尺度信息和有效的注意機制，在準確性和高效率方面實現(xiàn)全面的權(quán)衡；輕量級的空間金字塔注意模塊主要包括深度可分離注意力模塊和混合多尺度模塊；深度可分離注意力模塊為單層混合卷積設計；

還包括與空間金字塔注意模塊連接的全局信息增強模塊，通過增加全局信息增強模塊的兩個有效的遠程快捷連接，補充關鍵信息和擴展空間金字塔注意模塊輸出特征映射的維數(shù)；最后，形成采樣輸出特征圖。

所述的空間金字塔注意模塊主要包括深度可分離注意力模塊和混合多尺度模塊；深度可分離注意力模塊為單層混合卷積設計，采用多層混合深度卷積連接方法，能增強關鍵信息表示、降低參數(shù)量，大卷積核能提升卷積對信息的捕捉能力，利用小核捕捉細節(jié)信息，利用大核捕捉更為全局的信息，然后再把這些已增強的信息輸入到混合多尺度模塊。

混合多尺度模塊，使用混合卷積核，利用小核捕捉細節(jié)信息，利用大核捕捉更為全局的信息，增強信息；使用混合空洞率，分別在每個卷積的核的可承受范圍內(nèi)，增大每個卷積的感受野，使信息更全；使用深度可分離卷積，能降低模型的參數(shù)，提升模型的精度和效率。

本發(fā)明包括以下步驟：

步驟1，執(zhí)行輕量級的混合空洞卷積模塊，將主干網(wǎng)絡MobileNet v2的尾部輸出的語義特征，輸入到深度可分離注意力模塊中，以增加信息表示；

步驟2，將基于步驟1得到的多尺度特征圖輸入到混合多尺度模塊中；