[發明專利]一種自動駕駛場景語義分割方法、電子設備及可讀介質

在審

• 申請號: 202111086495.0
• 申請日: 2021-09-16
• 公開（公告）號: CN113793341A
• 公開（公告）日: 2021-12-14
• 發明（設計）人: 周彥;袁指天;王冬麗;李云燕
• 申請（專利權）人: 湘潭大學
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 長沙市融智專利事務所(普通合伙) 43114
• 代理人: 歐陽迪奇

1.一種自動駕駛場景語義分割方法，其特征在于，包括以下步驟：

步驟1，建立對抗網絡結構，包括教師網絡、學生網絡、分類器、細化模塊和自注意力判別器；

步驟2，將教師網絡基于訓練集的原始圖所生成的特征圖來作為細化模塊的輸入，然后將細化模塊輸出的特征圖輸入到分類器中得到語義分割預測圖結果，然后根據語義分割預測圖結果和訓練集的標簽圖來對細化模塊進行訓練；

步驟3，將細化模塊輸出的特征圖作為真樣本，將學生網絡生成的特征圖作為假樣本，并將真樣本和假樣本一同輸入到自注意力判別器中進行對抗訓練，在對抗訓練中對學生網絡進行優化，教師網絡不優化；

步驟4，將自動駕駛場景下獲得的場景圖片數據集輸入到生成對抗網絡結構的學生網絡模型中，對學生網絡進行訓練直到訓練完畢；

步驟5，將待進行語義分割的真實自動駕駛場景圖片輸入到訓練好的學生模型中，得到分割結果。

2.根據權利要求1所述的方法，其特征在于，所述的步驟2中，所述的教師網絡為已經預先訓練完成的神經網絡。

3.根據權利要求1所述的方法，其特征在于，所述的步驟2中，所述的訓練集中的標簽圖，是對原始圖進行人工標記所形成的。

4.根據權利要求1所述的方法，其特征在于，所述的步驟1中，細化模塊是首先使用一個大小為3×3的卷積核對輸入的特征圖進行卷積操作，得到具有256個通道數的特征圖；再經過四個分支，其中前兩個分支具有兩層二維卷積，第一層卷積核大小為1×7和7×1，第二層為7×1和1×7，以分別提取水平的和垂直的空間結構知識；第三個分支使用兩個卷積核大小為3×3，膨脹率為4的空洞卷積獲得空間遠程依賴知識；第四個分支使用多層感知機來提取教師網絡學習到的通道分布知識；然后將前三個分支獲得的特征圖進行級聯，接著使用1×1卷積降維后與第四個分支得到的通道分布知識進行逐元素相乘，再經過Sigmoid函數將得到的128個通道數的特征圖映射到(0,1)之間，將映射后的特征圖與教師網絡倒數第二層特征圖進行1×1卷積降維后的得到的128個通道數的特征圖進行逐元素相乘，將得到的結果與教師網絡倒數第二層特征圖逐元素相加后，得到經細化模塊的處理結果。

5.根據權利要求1所述的方法，其特征在于，所述的步驟2中，所述的細化模塊的輸入是教師網絡倒數第二層產生的具有512個通道數的特征圖；所述的步驟3中，學生網絡生成的特征圖是學生網絡倒數第二層產生的具有128個通道數的特征圖。

6.根據權利要求1所述的方法，其特征在于，所述的步驟2中，對細化模塊進行訓練包括：

采用自適應學習率的方法訓練神經網絡模型，以交叉熵損失作為損失函數，其中自適應學習率Current_rate的數學表達式為：

其中，Current_step為當前學習率，base_rate為初始學習率，current_step為當前迭代步數，max_step為最大迭代步數，power常量為0.9，初始學習率設為0.01；

損失函數Loss的表達式為：

其中y＝y_truth,y'＝y_pred，y_truth表示標簽圖，y_pred表示預測圖；w表示被限制的變量,n表示總樣本數。