[發明專利]基于多圖像元素的圖像智能合成方法及裝置

有效

• 申請號: 202211469867.2
• 申請日: 2022-11-23
• 公開（公告）號: CN115512006B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 陳暢新;黃于晏
• 申請（專利權）人: 有米科技股份有限公司
• 主分類號: G06T11/60
• 分類號: G06T11/60;G06N3/0464;G06N3/08;G06V10/26;G06V10/80;G06V10/82
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 江銀會

1.一種基于多圖像元素的圖像智能合成方法，其特征在于，所述方法包括：

獲取用于訓練的訓練圖像元素集合；所述訓練圖像元素集合包括第一圖像元素集合以及第二圖像元素集合，所述第一圖像元素集合以及所述第二圖像元素集合均為對對應的訓練圖像集合進行圖像元素提取操作得到的；

根據預設圖像處理參數，分別對所述第一圖像元素集合以及所述第二圖像元素集合進行圖像處理，得到處理后第一圖像元素集合以及處理后第二圖像元素集合；

根據預設第一卷積處理參數，分別對所述處理后第一圖像元素集合以及所述處理后第二圖像元素集合進行維度變換，得到所有處理后第一圖像元素的特征向量以及所有處理后第二圖像元素的特征向量；

對于每一所述處理后第一圖像元素，通過預設維度的間隔特征向量，對所述處理后第一圖像元素的特征向量以及對應的處理后第二圖像元素的特征向量進行拼接，得到待定拼接后圖像元素的特征向量；

根據預設標記參數，將標記特征向量添加至所得到的每個所述待定拼接后圖像元素的特征向量中，得到所有拼接后圖像元素的特征向量；每個所述拼接后圖像元素的特征向量表示對對應的第一圖像元素與對應的第二圖像元素進行特征向量拼接后所得到的特征向量；

根據所有所述拼接后圖像元素的特征向量，對預設的待訓練圖像合成模型進行訓練，得到訓練后圖像合成模型，并判斷所述訓練后圖像合成模型是否收斂；

當判斷出所述訓練后圖像合成模型收斂時，將所述訓練后圖像合成模型確定為目標圖像合成模型；所述目標圖像合成模型用于對待合成的圖像元素素材進行合成，以得到與所述圖像元素素材相匹配的合成圖像。

2.根據權利要求1所述的基于多圖像元素的圖像智能合成方法，其特征在于，所述圖像處理參數包括圖像處理尺寸和/或圖像處理分辨率，所述第一卷積處理參數包括卷積尺寸參數、卷積步長參數以及第一卷積通道數目參數中的至少一種，所述標記參數包括所述標記特征向量的維度和/或添加位置。

3.根據權利要求2所述的基于多圖像元素的圖像智能合成方法，其特征在于，所述待訓練圖像合成模型包括定位器、圖像生成器以及圖像判別器；

其中，所述根據所有所述拼接后圖像元素的特征向量，對預設的待訓練圖像合成模型進行訓練，得到訓練后圖像合成模型，包括：

對于每一所述拼接后圖像元素，通過所述定位器，從所述拼接后圖像元素的特征向量中的被標記特征向量內容確定出目標坐標位置參數；所述目標坐標位置參數表示與對應的處理后第一圖像元素在所述拼接后圖像元素中的拼接位置相匹配的檢測框參數，所述檢測框參數包括檢測框中心坐標位置和/或檢測框尺寸參數；

對于每一所述拼接后圖像元素，通過所述圖像生成器以及所述目標坐標位置參數，對所述拼接后圖像元素以及目標圖像元素執行圖像特征融合操作，得到融合后圖像元素特征；

對于每一所述融合后圖像元素特征，通過所述圖像判別器，對所述融合后圖像元素特征執行圖像特征判別操作，得到所述融合后圖像元素特征的判別概率。

4.根據權利要求3所述的基于多圖像元素的圖像智能合成方法，其特征在于，所述通過所述圖像生成器以及所述目標坐標位置參數，對所述拼接后圖像元素以及目標圖像元素執行圖像特征融合操作，得到融合后圖像元素特征，包括：

通過所述圖像生成器以及所述目標坐標位置參數，對所述拼接后圖像元素進行裁剪，得到與所述目標坐標位置參數相匹配的裁剪區域元素；

根據預設目標處理參數，分別對所述裁剪區域元素以及目標圖像元素進行圖像處理，得到處理后裁剪區域元素以及處理后目標圖像元素；所述目標處理參數為放大處理參數或者縮小處理參數；

根據預設特征提取參數，分別對所述處理后裁剪區域元素以及所述處理后目標圖像元素進行特征提取，得到所述處理后裁剪區域元素對應的第一圖像元素特征以及所述處理后目標圖像元素對應的第二圖像元素特征；

對所述第一圖像元素特征以及所述第二圖像元素特征進行融合，得到待定融合后圖像元素特征，并根據預設第二卷積處理參數，對所述待定融合后圖像元素特征進行采樣處理，得到采樣后圖像元素特征，作為所述拼接后圖像元素以及所述目標圖像元素對應的融合后圖像元素特征；所述第二卷積處理參數包括第二卷積通道數目參數和/或第一卷積層參數。