[發明專利]一種基于注意力機制和流模型的圖像生成方法

在審

• 申請號: 202110993967.4
• 申請日: 2021-08-27
• 公開（公告）號: CN113706650A
• 公開（公告）日: 2021-11-26
• 發明（設計）人: 任俞睿;吳玉博;龍仕強
• 申請（專利權）人: 深圳龍崗智能視聽研究院
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06N3/02;G06N3/08
• 代理公司: 北京京萬通知識產權代理有限公司 11440
• 代理人: 萬學堂;王躍交

1.一種基于注意力機制和流模型的圖像生成方法，其特征在于，包括以下步驟：

S1.訓練數據預處理；

S2.將預處理后的訓練數據進入子任務一，使用注意力機制提取相關矩陣，用于生成有準確結構信息的中間結果；

S3.訓練數據進入子任務二，使用流模型預測流場，用于生成具有豐富細節信息的中間結果；

S4.將子任務一生成的相關矩陣與子任務二生成的流場在不同尺度下一一對應地輸入到子任務三中，使用內容感知網絡生成權重圖；以及

S5.子任務一、子任務二、子任務三的生成結果和訓練數據進入主任務，使用編碼器-解碼器的網絡生成人體圖像，輸出圖像。

2.根據權利要求1所述的基于注意力機制和流模型的圖像生成方法，其特征在于，在步驟S1中，輸入圖像，進行數據預處理，將所述訓練數據處理為模型需要的大小和格式，生成原圖像和目標圖像的姿態圖。

3.根據權利要求1所述的基于注意力機制和流模型的圖像生成方法，其特征在于，在步驟S2中，將所述原圖像和所述目標圖像的姿態圖輸入到子任務一中，使用基于注意力機制的相關矩陣提取器提取不同尺度下所述原圖像和所述目標圖像的姿態圖之間的相關矩陣，以平均絕對誤差作為損失函數，生成有準確結構信息的中間結果。

4.根據權利要求1所述的基于注意力機制和流模型的圖像生成方法，其特征在于，在步驟S3中，將原圖像、原圖像的姿態圖和目標圖像的姿態圖輸入到子任務二中，使用流模型預測器預測不同尺度下從原圖像到目標圖像的姿態圖的流場，以采樣正確性損失和正則化損失作為損失函數，用于生成具有豐富細節信息的中間結果。

5.根據權利要求1所述的基于注意力機制和流模型的圖像生成方法，其特征在于，在步驟S4中，步驟S2和步驟S3中所提取的相關矩陣與流場是多尺度的，并且在不同尺度下一一對應地作為所述子任務三的輸入。

6.根據權利要求1所述的基于注意力機制和流模型的圖像生成方法，其特征在于，在步驟S5中，將所述原圖像和所述目標圖像的姿態圖以及所述子任務一、所述子任務二和所述子任務三的生成結果輸入到所述主任務中，生成人體圖像。

7.根據權利要求1所述的基于注意力機制和流模型的圖像生成方法，其特征在于，在步驟S5中，使用所述相關矩陣和所述流場對特征圖進行扭曲，之后使用所述權重圖對扭曲后的特征圖進行逐元素相乘，再將兩結果進行逐元素相加；之后將扭曲后的特征圖輸入到解碼器中，為目標姿態特征添加真實的紋理信息，生成具有準確結構信息和豐富紋理細節的人體圖像。