[發(fā)明專(zhuān)利]一種基于線框和邊緣結(jié)構(gòu)的多尺度圖像修復(fù)系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110274795.5
• 申請(qǐng)日: 2021-03-15
• 公開(kāi)（公告）號(hào): CN112967218B
• 公開(kāi)（公告）日: 2022-03-18
• 發(fā)明（設(shè)計(jì)）人: 付彥偉;曹辰捷
• 申請(qǐng)（專(zhuān)利權(quán)）人: 復(fù)旦大學(xué)
• 主分類(lèi)號(hào): G06T5/50
• 分類(lèi)號(hào): G06T5/50;G06T7/13;G06T3/40;G06N3/04;G06N3/08
• 代理公司: 上海德昭知識(shí)產(chǎn)權(quán)代理有限公司 31204
• 代理人: 郁旦蓉

1.一種基于線框和邊緣結(jié)構(gòu)的多尺度圖像修復(fù)系統(tǒng)，用于針對(duì)包含建筑或家具的室內(nèi)外場(chǎng)景下的待處理圖像進(jìn)行結(jié)構(gòu)信息補(bǔ)全，并完成圖像修復(fù)或?qū)ο笠瞥蝿?wù)，其特征在于，包括：

線框與邊緣抽取模塊，利用預(yù)定的線框抽取方法對(duì)待處理圖像進(jìn)行線框抽取得到線框圖像，并利用預(yù)定的邊緣抽取方法對(duì)所述待處理圖像進(jìn)行邊緣抽取得到邊緣圖像；

結(jié)構(gòu)修復(fù)模塊，基于所述待處理圖像、所述線框圖像以及所述邊緣圖像，通過(guò)預(yù)先訓(xùn)練好的結(jié)構(gòu)修復(fù)模型進(jìn)行結(jié)構(gòu)修復(fù)，從而得到修復(fù)好的待處理圖像作為結(jié)構(gòu)修復(fù)圖像；以及

圖像處理模塊，基于所述結(jié)構(gòu)修復(fù)圖像完成圖像修復(fù)任務(wù)或?qū)ο笠瞥蝿?wù)，

其中，所述結(jié)構(gòu)修復(fù)模型的訓(xùn)練過(guò)程包括如下步驟：

步驟S1-1，利用預(yù)定的遮掩圖層生成方法生成遮掩圖層，并基于該遮掩圖層對(duì)訓(xùn)練集進(jìn)行遮掩，從而得到遮掩圖像集；

步驟S1-2，將所述遮掩圖像集輸入預(yù)先搭建好的初始線框抽取模型，并進(jìn)行訓(xùn)練，從而得到訓(xùn)練好的初始線框抽取模型作為最終線框抽取模型；

步驟S1-3，利用所述最終線框抽取模型從所述訓(xùn)練集中提取線框信息，通過(guò)預(yù)定的線段采樣方法對(duì)所述線框信息進(jìn)行采樣，從而得到線框圖層，并利用所述邊緣抽取方法從所述訓(xùn)練集中進(jìn)行邊緣信息提取，得到邊緣圖層；

步驟S1-4，將所述線框圖層、所述邊緣圖層以及所述遮掩圖像集輸入預(yù)先搭建好的初始結(jié)構(gòu)修復(fù)模型進(jìn)行訓(xùn)練，所述初始結(jié)構(gòu)修復(fù)模型為至少包括線框判別器、邊緣判別器以及結(jié)構(gòu)補(bǔ)充生成器的對(duì)抗網(wǎng)絡(luò)，直到所述初始結(jié)構(gòu)修復(fù)模型收斂，從而得到訓(xùn)練好的初始結(jié)構(gòu)修復(fù)模型作為所述結(jié)構(gòu)修復(fù)模型。

2.根據(jù)權(quán)利要求1所述的基于線框和邊緣結(jié)構(gòu)的多尺度圖像修復(fù)系統(tǒng)，其特征在于：

其中，所述線段采樣方法為遮掩線段采樣MLS：

式中，l_i(i∈n)為所述線框信息中的線段，n為所述線段的總數(shù)，m為超參數(shù)，表示該線段去除的概率。

3.根據(jù)權(quán)利要求1所述的基于線框和邊緣結(jié)構(gòu)的多尺度圖像修復(fù)系統(tǒng)，其特征在于：

其中，所述步驟S1-4中所述初始結(jié)構(gòu)修復(fù)模型訓(xùn)練過(guò)程中結(jié)構(gòu)損失函數(shù)為：

式中，為線框判別損失，為邊緣判別損失，為結(jié)構(gòu)補(bǔ)充生成損失，為特征匹配損失，為粗粒度復(fù)原損失，λ_g與λ_fm均為超參數(shù)。

4.根據(jù)權(quán)利要求1所述的基于線框和邊緣結(jié)構(gòu)的多尺度圖像修復(fù)系統(tǒng)，其特征在于：

其中，所述圖像處理模塊具有一個(gè)預(yù)先訓(xùn)練好的圖像處理模型，并通過(guò)圖像處理模型完成圖像修復(fù)任務(wù)或?qū)ο笠瞥蝿?wù)，

所述訓(xùn)練好的圖像處理模型為對(duì)抗網(wǎng)絡(luò)模型，該圖像處理模型訓(xùn)練過(guò)程中圖像修復(fù)損失函數(shù)為：

式中，為圖像修復(fù)判別損失，為圖像修復(fù)生成損失，為L(zhǎng)1范式損失，為感知損失，為style損失，λ_g、λ_per與λ_style均為超參數(shù)。

5.根據(jù)權(quán)利要求1所述的基于線框和邊緣結(jié)構(gòu)的多尺度圖像修復(fù)系統(tǒng)，其特征在于：

其中，所述步驟S1-1中所述遮掩圖層生成方法包括如下步驟：

步驟S2-1，根據(jù)語(yǔ)義分割數(shù)據(jù)集的語(yǔ)義分割標(biāo)簽圖層構(gòu)筑第一遮掩圖層；

步驟S2-2，通過(guò)設(shè)置隨機(jī)角度對(duì)筆刷進(jìn)行迭代涂抹，從而得到模擬了人類(lèi)涂鴉習(xí)慣的第二遮掩圖層；

步驟S2-2，將所述第一遮掩圖層與所述第二遮掩圖層作為所述遮掩圖層。

6.根據(jù)權(quán)利要求1所述的基于線框和邊緣結(jié)構(gòu)的多尺度圖像修復(fù)系統(tǒng)，其特征在于：

其中，所述邊緣抽取方法為Canny邊緣提取。