[發(fā)明專利]一種基于姿勢-形狀-內容推理的人體圖像序列生成方法

在審

• 申請?zhí)枺?/td>: 202210942446.0
• 申請日: 2022-08-08
• 公開（公告）號: CN115311142A
• 公開（公告）日: 2022-11-08
• 發(fā)明（設計）人: 裘樂淼;房乃玉;張樹有;王陽;王自立
• 申請（專利權）人: 浙江大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T3/00;G06T5/50;G06V10/80;G06V10/762;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

1.一種基于姿勢-形狀-內容推理的人體圖像序列生成方法，其特征在于，包括以下步驟：

步驟(1)：將服裝圖像的起始插值端姿勢概率熱圖和終止插值端姿勢概率熱圖輸入姿勢流形網(wǎng)絡，通過插值參數(shù)t控制姿勢特征的焦點移動，得到插值后的姿勢概率熱圖；

步驟(2)：將插值后的姿勢概率熱圖和端實例級分割圖輸入到遷移注意網(wǎng)絡得到目標實例級分割圖；

步驟(3)：通過對比步驟(2)得到的目標實例級分割圖以及端實例級分割圖，估計多尺度特征級光流；

步驟(4)：從端實例級分割圖中提取特征碼；

步驟(5)：將人體圖像輸入至圖像合成模塊，最終輸出插值參數(shù)t條件下的人體圖像。

2.根據(jù)權利要求1所述的一種基于姿勢-形狀-內容推理的人體圖像序列生成方法，其特征在于，所述步驟(1)包括以下子步驟：

(1.1)將服裝圖像的起始插值端姿勢概率熱圖p₀輸入姿勢編碼器E_p中并在姿勢編碼器E_p的末端生成起始姿勢特征圖服裝圖像的終止插值端姿勢概率熱圖p₁輸入姿勢編碼器E_p中并在姿勢編碼器E_p的末端生成終止姿勢特征圖

(1.2)將起始姿勢特征圖終止姿勢特征圖并行輸入第一瓶頸層組合，所述第一瓶頸層組合包括3×3個瓶頸層；起始姿勢特征圖經(jīng)過3個瓶頸層輸出終止姿勢特征圖經(jīng)過3個瓶頸層輸出

(1.3)隨后將起始姿勢特征圖終止姿勢特征圖輸入至姿勢流形模塊進行姿勢插值得到插值姿勢特征圖其中，t為插值參數(shù)，t為和大小一樣的系數(shù)矩陣，⊙為元素相乘符號；插值姿勢特征圖經(jīng)過1個瓶頸層輸出

將起始姿勢特征圖終止姿勢特征圖輸入至姿勢流形模塊進行姿勢插值得到插值姿勢特征圖與相加輸入至下一個瓶頸層輸出

將起始姿勢特征圖終止姿勢特征圖輸入至姿勢流形模塊進行姿勢插值得到插值姿勢特征圖與相加輸入至下一個瓶頸層輸出

(1.4)最后將輸入姿勢解碼器D_p中，將插值姿勢特征圖重新映射為插值后的姿勢概率熱圖p_t。

3.根據(jù)權利要求2所述的一種基于姿勢-形狀-內容推理的人體圖像序列生成方法，其特征在于，所述步驟(2)包括以下子步驟：

(2.1)將插值后的姿勢概率熱圖p_t輸入姿勢編碼器E_p中并在姿勢編碼器E_p的末端生成插值姿勢特征圖端實例級分割圖S₀輸入形狀編碼器E_s中并在形狀編碼器E_s的末端生成形狀特征圖

(2.2)將插值姿勢特征圖輸入第二瓶頸層組合，所述第二瓶頸層組合包括2×3個瓶頸層，插值姿勢特征圖經(jīng)過3個瓶頸層輸出其中，為第一姿勢特征圖，為第二姿勢特征圖，為第三姿勢特征圖；

(2.3)隨后將插值姿勢特征圖形狀特征圖輸入至風格遷移模塊歸一化匹配得到第一目標形狀特征圖σ()為方差函數(shù)，μ()為均值函數(shù)；第一目標形狀特征圖經(jīng)過1個瓶頸層輸出

將和第一姿勢特征圖輸入至風格遷移模塊歸一化匹配得到第二目標形狀特征圖第二目標形狀特征圖經(jīng)過1個瓶頸層輸出

將和第二姿勢特征圖輸入至風格遷移模塊歸一化匹配得到第三目標形狀特征圖第三目標形狀特征圖經(jīng)過1個瓶頸層輸出目標形狀特征圖

(2.4)將插值姿勢特征圖和目標形狀特征圖輸入至注意力模塊，得到其中為矩陣乘法符號，softmax()為歸一化函數(shù)，為可學習的參數(shù)；

將形狀特征圖和目標形狀特征圖輸入至注意力模塊，得到

隨后將β₁和β₂相加，得到注意力強調后的形狀特征圖β：β＝β₁+β₂；

(2.5)最后將注意力強調后的形狀特征圖β輸入形狀解碼器D_s中，將注意力強調后的形狀特征圖β重新映射為目標實例級分割圖S_t。