[發明專利]一種圖像合成的方法、裝置、設備和存儲介質

有效

• 申請號: 201910833216.9
• 申請日: 2019-09-04
• 公開（公告）號: CN110599435B
• 公開（公告）日: 2021-01-12
• 發明（設計）人: 趙珊珊;朱曉寧;吳喆峰
• 申請（專利權）人: 精英數智科技股份有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T5/00;G06N3/04;G06N3/08
• 代理公司: 北京知呱呱知識產權代理有限公司 11577
• 代理人: 管士濤

本發明實施涉及圖像處理領域，具體涉及一種圖像合成的方法、裝置、設備和存儲介質；本申請提出了一種圖像合成方法，包括：獲取草圖；將所述草圖輸入預先訓練得到的生成對抗網絡中的生成網絡中；該生成網絡對所述草圖進行處理后得到偽圖；以及將該偽圖分別輸入到預先訓練得到的生成對抗網絡中的第一判別網絡和第二判別網絡中；第一判別網絡和第二判別網絡分別判斷該偽圖是否是偽圖，并輸出判別結果；所述生成網絡根據所述第一判別網絡或所述第二判別網絡的判別結果對所述偽圖進行對應地進行調整以生成新的偽圖。本申請采用了兩個判別網絡同時對生成網絡進行調整，并且對于生成器采用了特征融合策略，最終提高合成圖像的逼真度。

技術領域

本發明涉及圖像處理領域，具體涉及一種圖像合成的方法、裝置、設備和存儲介質。

背景技術

在采礦或者安防等需要監控領域中，往往需要采集被監測對象的圖像，對圖像進行分析，而如果采集的圖像由于各種原因，發生了部分殘缺不全，則不能夠對圖像幀進行正常的分析，影響了監控管理的效果。

發明內容

本發明實施例的目的在于提供一種圖像合成的方法、裝置、設備和存儲介質，用以提高圖像合成逼真度。

為實現上述目的，本發明實施例主要提供如下技術方案：

第一方面，本發明實施例提供了一種圖像合成方法，包括：

獲取草圖；

將所述草圖輸入預先訓練得到的生成對抗網絡中的生成網絡中；

所述生成網絡對所述草圖進行處理后得到偽圖；以及將所述偽圖分別輸入到預先訓練得到的生成對抗網絡中的第一判別網絡和第二判別網絡中；

所述第一判別網絡和所述第二判別網絡分別判斷所述偽圖是否是偽圖，并輸出判別結果；

所述生成網絡根據所述第一判別網絡或所述第二判別網絡的判別結果對所述偽圖進行對應地進行調整以生成新的偽圖。

在一種實施方式中，所述生成網絡對所述草圖進行處理，包括：

獲取所述草圖的全局特征向量；

獲取所述草圖中的每一個像素點處的局部特征向量；

根據所述全局特征向量和所述每一個像素點的局部特征向量確定所述每一個像素點處的融合特征向量。

在一種實施方式中，所述生成網絡包括：改進的全卷積網絡(IFCN，Improvedfully convolutional network)網絡和Resnet-50網絡；

獲取所述草圖的全局特征向量，包括：

利用所述Resnet-50網絡提取所述草圖的全局特征向量y^global；

獲取所述草圖中的每一個像素點的局部特征向量，包括：

利用所述IFCN網絡提取所述草圖的坐標為(u，v)的像素點的局部特征向量y^local；

將所述局部特征和全局特征進行融合得到坐標為(u，v)的融合之后的特征向量

其中，

u表示像素點的橫坐標；

v表示像素點的縱坐標；

W表示權重矩陣；

b表示偏置項；

y^global表示全局特征向量；

表示坐標(u，v)處的局部特征向量；