[發明專利]一種基于場景識別的草圖圖像翻譯方法

有效

• 申請號: 202010913017.1
• 申請日: 2020-09-03
• 公開（公告）號: CN111967533B
• 公開（公告）日: 2022-09-23
• 發明（設計）人: 周凡;陳茜茜;蘇卓;林淑金;王若梅
• 申請（專利權）人: 中山大學
• 主分類號: G06V10/75
• 分類號: G06V10/75;G06V10/764;G06V10/44;G06V10/56;G06T7/13;G06T11/00;G06T11/80;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于場景識別的草圖圖像翻譯方法，其特征在于，所述方法包括：

構建對象數據集與場景數據集并進行語義匹配，對對象數據集的原始圖像進行邊緣檢測與簡化從而得到完整對象邊緣圖像，之后進行隨機遮擋掩模處理以模擬用戶的部分草圖輸入從而得到不完整對象邊緣圖像，對場景數據集進行場景識別預訓練產生OPlace365-Resnet50網絡；

用戶從所述場景數據集中選取場景背景圖，然后利用所述OPlace365-Resnet50網絡對所選取的場景背景圖進行分類識別，得到場景類別；

利用所述完整對象邊緣圖像和所述不完整對象邊緣圖像作為數據集訓練部分草圖形狀完成網絡，利用所述對象數據集的原始圖像和所述完整對象邊緣圖像作為數據集訓練完整圖像外觀生成網絡；

所述場景類別通過所述語義匹配得到對應的對象類別，之后所述部分草圖形狀完成網絡根據對象類別和用戶描繪的部分草圖生成完整的草圖輪廓，然后所述完整圖像外觀生成網絡再根據對象類別和所生成的完整草圖輪廓生成帶有顏色和紋理的前景圖像；

用戶根據所述帶有顏色和紋理的前景圖像交互式的進行下一筆草圖描繪，直到生成在所述用戶選取的場景背景圖上滿足用戶需求的前景對象圖像，即為最終生成圖像；

其中，所述部分草圖形狀完成網絡，具體為：

部分草圖形狀完成網絡采用Pix2Pix結構，包含一個生成器G_s和一個判別器D_s；

生成器G_s采用加入跳躍連接skip connection的U-Net網絡結構，包括：將所述對象類別連同所述用戶描繪的部分草圖作為網絡輸入，每個網絡層都加入批標準化層BatchNormalization與線性整流函數ReLU，網絡最后一層的輸出采用雙曲正切函數tanh作為激活函數；

判別器D_s由PatchGAN組成，包括：每個網絡層都加入批標準化層Batch Normalization與帶泄露線性整流函數Leaky ReLU，判別器將輸入圖片分為多塊，對每一塊都給出一個分數，最后對所有塊的分數求平均；

其中，所述完整圖像外觀生成網絡，具體為：

完整圖像外觀生成網絡包含一個生成器G_t和一個判別器D_t；

生成器G_t采用改進的U-Net網絡結構GU-Net，包括：GU-Net的前五個卷積層得到的特征圖分別與類條件向量級聯，得到級聯特征圖，再利用GRU循環神經網絡將卷積層的第五層級聯特征圖和與之相應成鏡像關系的反卷積層特征圖進行跳躍連接，每個網絡層都加入標準化層Instance Normalization與帶泄露線性整流函數Leaky ReLU，上采樣Upsample和下采樣Downsample均采用最近鄰插值采樣；

判別器D_t包括：前三個卷積層得到的特征圖分別與類條件向量級聯，得到級聯特征圖，最后一個卷積層輸出的特征圖采用Sigmoid激活函數。

2.如權利要求1所述的一種基于場景識別的草圖圖像翻譯方法，其特征在于，所述構建對象數據集與場景數據集并進行語義匹配，具體為：

從Place365數據集中提取其中的二十個類別構建成場景數據集；

對象數據集與場景數據集各包括二十個類別的圖像；

對對象數據集中二十個類別的圖像與場景數據集中二十個類別的圖像進行一對一的語義匹配。