[發明專利]一種基于域遷移的非結構化道路檢測方法

有效

• 申請號: 201910341103.7
• 申請日: 2019-04-25
• 公開（公告）號: CN110070059B
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 李文輝;張博翔;惠禹銘;劉東會;劉彤彤
• 申請（專利權）人: 吉林大學
• 主分類號: G06V20/58
• 分類號: G06V20/58;G06V10/774;G06V10/82;G06K9/62;G06N3/08
• 代理公司: 深圳國聯專利代理事務所(特殊普通合伙) 44465
• 代理人: 王天興

1.一種基于域遷移的非結構化道路檢測方法，其特征在于，包括A網絡、B網絡、C網絡、D網絡四部分，其中，A網絡主要基于Xception的骨干部分；B網絡改進了Mask R-CNN結構的語義分割器，在分支上加入ASPP；

C網絡選取AC-GAN的生成器結構進行圖像的生成，D網絡則利用Patch結構進行圖像真假的分辨；步驟如下：

S1：利用AirSim開源自動駕駛仿真平臺結合自建模型，生成人工合成數據集；

S2：利用人工合成數據，訓練網絡的分割部分，并結合采集的無標簽非結構化道路檢測數據，生成偽標簽；

S3：利用域遷移技術，結合偽標簽組成的真實數據集和人工合成數據集訓練整個網絡；

S4：取出完成域遷移訓練網絡的分割部分完成非結構化道路檢測；

S1的AirSim為一個由微軟開源，建立在Unreal引擎上的開源無人車仿真平臺；

A網絡和B網絡合稱為語義分割部分；在訓練過程中，整個網絡的輸出由B網絡進行，其損失函數為：

L_Mask是前景物體的交叉熵損失函數，L_ASPP是空洞空間金字塔池化的交叉熵損失函數，而新增的L_Edge則是預測邊界信息和真實邊界信息的L₂損失函數：

其中M_p表示平方和函數，y表示真實的邊界值，表示對邊界的預測值；在完成網絡語義分割部分的訓練之后，將開始整個網絡的訓練，網絡的生成器部分和辨別器部分都是基于GAN結構，C網絡主要輸出偽造的源域數據和目標域數據，D網絡有兩種輸出，一種是辨別輸入是否為偽造數據的輸出，另一種像素級分類輸出，整體網絡共有四種損失函數：L_B損失與上相同；

L_D2是語義分割網絡的交叉熵損失函數；而L_C主要記錄生成器網絡輸出的重建圖像與真實圖像之間的損失，是一個L₁損失函數；L_D1表示辨別器針對圖像類別的損失函數，與其關聯的有四種結果，即源域真圖，源域假圖，目標域真圖，目標域假圖，網絡參數更新過程中的每一個步驟都以源域圖像及標簽，目標域圖像及標簽為輸入，表示為(X^s,X^t,Y^s,Y^t)，具體過程主要分為三步：

1)更新D網絡的參數

此時D網絡的輸入主要為兩部分，一部分為真圖像，另一部分為真圖像先后通過A和C網絡生成的假圖像，此時僅更新D網絡的參數，因此損失函數為：

2)更新C網絡的參數

此時D網絡的輸入是真圖像先后通過A和C網絡生成的假圖像，此時僅更新C網絡的參數，故損失函數為：

3)更新語義分割部分的參數

此時整個網絡都在工作，所有的網絡的輸入都僅和A網絡的輸出相關，此時更新A網絡和B網絡的參數，其損失函數為：

其中α和β為控制網絡側重訓練的超參數，本方法設定α＝2，β＝1，重復上述過程直至總體網絡擬合，即可完成網絡的訓練。

2.根據權利要求1所述的一種基于域遷移的非結構化道路檢測方法，其特征在于，S1包括如下步驟：

S101：利用Visual studio 2017編譯生成基于Unreal的AirSim開源自動駕駛仿真平臺；

S102：在AirSim平臺中導入自建模型，搭建非結構化道路場景，并根據場景情況選擇拍照及標注腳本；

S103：點擊“播放”，根據場景進行自動拍照和標注，生成人工合成非結構化道路檢測數據集。

3.根據權利要求1所述的一種基于域遷移的非結構化道路檢測方法，其特征在于，S2的語義分割部分網絡的訓練包括如下步驟：

S201：利用步驟S1中生成的人工合成數據集，將A網絡與B網絡訓練至擬合；

S202：利用訓練完成的語義分割網絡，針對真實的非結構化道路數據進行測試，生成測試結果；

S203：將測試結果作為真實非結構化道路數據的標簽，即生成的偽標簽，進行下一步的訓練。

4.根據權利要求1所述的一種基于域遷移的非結構化道路檢測方法，其特征在于，S4包括如下步驟：

S401：將新的真實的非結構化道路檢測數據輸入語義分割網絡；

S402：網絡的預測結果即可作為最終的預測結果。