[發(fā)明專利]一種基于對抗網(wǎng)絡(luò)的道路箭頭圖片生成方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110868084.0
• 申請日: 2021-07-30
• 公開（公告）號: CN113780068A
• 公開（公告）日: 2021-12-10
• 發(fā)明（設(shè)計(jì)）人: 何云;何豪杰;羅躍軍
• 申請（專利權(quán)）人: 武漢中海庭數(shù)據(jù)技術(shù)有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 武漢藍(lán)寶石專利代理事務(wù)所(特殊普通合伙) 42242
• 代理人: 朱才永

本發(fā)明提供一種基于對抗網(wǎng)絡(luò)的道路箭頭圖片生成方法及系統(tǒng)，方法包括：向預(yù)先訓(xùn)練后的對抗網(wǎng)絡(luò)模型中分別輸入目標(biāo)圖片和參考圖片，獲取所述對抗網(wǎng)絡(luò)模型輸出的與所述目標(biāo)箭頭的類型相同，且與所述參考箭頭的風(fēng)格信息和背景信息相同的新目標(biāo)箭頭，其中，所述目標(biāo)圖片中包括目標(biāo)箭頭，所述參考圖片中包括參考箭頭；將新目標(biāo)箭頭融合到所述參考圖片中。本發(fā)明對參考圖片中道路箭頭的類型進(jìn)行修改，而不改變道路箭頭的風(fēng)格，擴(kuò)展目標(biāo)類型的道路箭頭的圖片樣本。

技術(shù)領(lǐng)域

本發(fā)明涉及神經(jīng)網(wǎng)絡(luò)領(lǐng)域，更具體地，涉及一種基于對抗網(wǎng)絡(luò)的道路箭頭圖片生成方法及系統(tǒng)。

背景技術(shù)

生成對抗網(wǎng)絡(luò)(GAN)是生成模型的一種神經(jīng)網(wǎng)絡(luò)架構(gòu)。GAN是使用兩個(gè)神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練而成的一種生成模型。其中一個(gè)稱為“生成器”模型，可學(xué)習(xí)生成新的可用圖像；另一個(gè)稱為“判別器”，可用于判別區(qū)分生成的假圖和訓(xùn)練模型的原始圖像。這兩種模型處于一種競爭狀態(tài)，生成器企圖愚弄判別器，而判別器則要同時(shí)處理生成圖片和實(shí)際圖片。

但是對抗網(wǎng)絡(luò)生成的圖片都是整張圖像，但是目前現(xiàn)有對抗網(wǎng)絡(luò)生成的圖像分辨率較小，無法滿足現(xiàn)有的深度學(xué)習(xí)模型訓(xùn)練工作，如何在使用對抗網(wǎng)絡(luò)生成整張圖像中的局部小目標(biāo)，同時(shí)將小目標(biāo)融合到整體圖片時(shí)，圖片的邊緣的平滑梯度較小，生成新的目標(biāo)又具備多樣性，這是生成對抗網(wǎng)絡(luò)一個(gè)較難解決的問題。

發(fā)明內(nèi)容

本發(fā)明針對現(xiàn)有技術(shù)中存在的技術(shù)問題，提供一種基于對抗網(wǎng)絡(luò)的道路箭頭圖片生成方法及系統(tǒng)，能夠修改參考圖片中道路箭頭的類型，且修改后的道路箭頭的風(fēng)格不變。

根據(jù)本發(fā)明的第一方面，提供了一種基于對抗網(wǎng)絡(luò)的道路箭頭圖片生成方法，包括：向預(yù)先訓(xùn)練后的對抗網(wǎng)絡(luò)模型中分別輸入目標(biāo)圖片和參考圖片，獲取所述對抗網(wǎng)絡(luò)模型輸出的與所述目標(biāo)箭頭的類型相同，且與所述參考箭頭的風(fēng)格信息和背景信息相同的新目標(biāo)箭頭，其中，所述目標(biāo)圖片中包括目標(biāo)箭頭，所述參考圖片中包括參考箭頭；將新目標(biāo)箭頭融合到所述參考圖片中。

在上述技術(shù)方案的基礎(chǔ)上，本發(fā)明還可以作出如下改進(jìn)。

可選的，所述對抗網(wǎng)絡(luò)模型包括生成器G、映射網(wǎng)絡(luò)M、風(fēng)格編碼器E和鑒別器D，對抗網(wǎng)絡(luò)模型的訓(xùn)練過程包括：收集不同場景下的道路圖像，提取每一張道路圖像中的道路箭頭區(qū)域，并對道路箭頭的類型進(jìn)行標(biāo)注，作為訓(xùn)練樣本集，對所述對抗網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練。

可選的，所述對所述對抗網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，包括：向生成器G中輸入道路箭頭的目標(biāo)類型和原始圖片，所述原始圖片中道路箭頭的類型與道路箭頭的目標(biāo)類型不同，獲取所述生成器G生成的第一新圖片，其中，第一新圖片中的道路箭頭的類型為目標(biāo)類型；將生成的第一新圖片分別輸入判別器D和再次回環(huán)輸入生成器G中，通過判別器D判別生成的第一新圖片為虛假圖片還是真實(shí)圖片，以及第一新圖片中道路箭頭的類型，通過再次輸入生成器G中，生成第二新圖片，所述第二新圖片中的道路箭頭的類型與原始圖片中道路箭頭的類型相同；計(jì)算第二新圖片中的道路箭頭和原始圖片中的道路箭頭之間的損失，反復(fù)訓(xùn)練得到最優(yōu)的對抗網(wǎng)絡(luò)模型。

可選的，所述第二新圖片中的道路箭頭和原始圖片中的道路箭頭之間的損失包括對抗損失、風(fēng)格重建損失、風(fēng)格差別多元化損失和循環(huán)一致性損失。

可選的，所述道路箭頭的類型包括直行箭頭和左轉(zhuǎn)箭頭，所述目標(biāo)圖片中目標(biāo)箭頭的類型為左轉(zhuǎn)箭頭，所述參考圖片中參考箭頭的類型為直行箭頭，所述生成的新目標(biāo)箭頭為新左轉(zhuǎn)箭頭。

可選的，所述風(fēng)格信息和背景信息至少包括導(dǎo)向箭頭的傾斜角度、大小、圖片的對比度和亮度。

可選的，所述將新目標(biāo)箭頭融合到所述參考圖片中，包括：

調(diào)整生成的新左轉(zhuǎn)箭頭的亮度和對比度與參考圖片中直行箭頭的亮度和對比度一致；

基于泊松融合算法調(diào)整新左轉(zhuǎn)箭頭的風(fēng)格和背景顏色，獲取調(diào)整后的新左轉(zhuǎn)箭頭；