[發(fā)明專利]擺盤圖像的生成方法、圖像生成模型的訓(xùn)練方法及裝置

有效

• 申請?zhí)枺?/td>: 202110266639.4
• 申請日: 2021-03-11
• 公開（公告）號: CN112966617B
• 公開（公告）日: 2022-10-21
• 發(fā)明（設(shè)計）人: 張葭琦;黃君實;羅玄;魏曉明
• 申請（專利權(quán)）人: 北京三快在線科技有限公司
• 主分類號: G06V20/20
• 分類號: G06V20/20;G06V10/25;G06V10/26;G06V10/75;G06N20/00
• 代理公司: 北京三高永信知識產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 謝冬寒

1.一種擺盤圖像的生成方法，其特征在于，所述方法包括：

獲取目標(biāo)餐品的原始圖像；

對所述原始圖像進行圖像識別處理，得到所述目標(biāo)餐品的圖像特征信息；在知識圖譜中搜索與所述圖像特征信息之間的匹配度大于閾值的匹配餐品信息；基于所述匹配餐品信息，確定所述目標(biāo)餐品在所述知識圖譜中的餐品名稱；將與所述目標(biāo)餐品在所述知識圖譜中的餐品名稱關(guān)聯(lián)的信息，確定為所述目標(biāo)餐品的擴展特征信息；將所述圖像特征信息與所述擴展特征信息中，相同或相似的信息進行去重處理，得到餐品信息，所述餐品信息用于指示所述目標(biāo)餐品的相關(guān)特征；

獲取所述餐品信息對應(yīng)的文本特征向量；

通過圖像生成模型將所述原始圖像變換為圖像特征向量；

將所述圖像特征向量與所述文本特征向量進行融合，得到融合特征向量；

對所述融合特征向量進行編解碼處理，生成所述目標(biāo)餐品的擺盤圖像。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

在所述知識圖譜中未搜索到所述匹配餐品信息的情況下，將所述圖像特征信息添加到所述知識圖譜中。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對所述原始圖像進行圖像識別處理，得到所述目標(biāo)餐品的圖像特征信息，包括：

對所述原始圖像進行預(yù)處理，得到預(yù)處理后的原始圖像；其中，所述預(yù)處理包括裁剪處理和/或去噪處理；

對所述預(yù)處理后的原始圖像進行食材識別處理，得到所述預(yù)處理后的原始圖像中包含的食材信息；

對所述預(yù)處理后的原始圖像進行名稱識別處理，得到所述目標(biāo)餐品的餐品名稱；

其中，所述目標(biāo)餐品的圖像特征信息包括所述餐品名稱和所述食材信息。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取所述餐品信息對應(yīng)的文本特征向量，包括：

基于知識圖譜獲取嵌入詞表；

從所述嵌入詞表中查詢得到所述餐品信息對應(yīng)的所述文本特征向量。

5.根據(jù)權(quán)利要求1至4任一項所述的方法，其特征在于，所述目標(biāo)餐品的擺盤圖像，用于指示所述目標(biāo)餐品的預(yù)測擺盤方案；

所述預(yù)測擺盤方案包括以下至少一項：所述目標(biāo)餐品的食材預(yù)測擺放方案、所述目標(biāo)餐品的餐具搭配預(yù)測方案、所述目標(biāo)餐品的裝飾物搭配預(yù)測方案。

6.一種圖像生成模型的訓(xùn)練方法，其特征在于，所述方法包括：

獲取樣本餐品圖像以及所述樣本餐品圖像對應(yīng)的餐品信息，所述餐品信息用于指示所述樣本餐品圖像中包含的樣本餐品的相關(guān)特征；

獲取所述樣本餐品的參考擺盤圖像；

對于所述樣本餐品圖像，采用圖像生成模型，將所述樣本餐品圖像變換為圖像特征向量；

將所述圖像特征向量，與所述樣本餐品圖像對應(yīng)的文本特征向量融合，得到融合后的特征向量；

將所述融合后的特征向量進行反變換，生成預(yù)測擺盤圖像；

采用判別模型對所述預(yù)測擺盤圖像進行判別，確定第一子損失，所述判別模型用于判別輸入的擺盤圖像為預(yù)測擺盤圖像還是參考擺盤圖像，所述第一子損失用于指示所述預(yù)測擺盤圖像對所述判別模型的判別能力的干擾程度；

基于所述預(yù)測擺盤圖像以及所述參考擺盤圖像，確定第二子損失，所述第二子損失用于指示所述預(yù)測擺盤圖像，與所述參考擺盤圖像在色彩和像素上的相似程度；

基于所述預(yù)測擺盤圖像以及所述參考擺盤圖像，確定第三子損失，所述第三子損失用于指示所述預(yù)測擺盤圖像的圖像輪廓，與所述參考擺盤圖像的圖像輪廓之間的相似程度；

基于所述預(yù)測擺盤圖像以及所述參考擺盤圖像，確定第四子損失，所述第四子損失用于指示所述預(yù)測擺盤圖像，與對應(yīng)的參考擺盤圖像在圖像風(fēng)格上的相似程度；

基于所述第一子損失、所述第二子損失、所述第三子損失和所述第四子損失，確定所述圖像生成模型的損失；

基于所述圖像生成模型的損失，調(diào)整所述圖像生成模型的參數(shù)。