[發明專利]一種基于姿勢-形狀-內容推理的人體圖像序列生成方法

在審

• 申請號: 202210942446.0
• 申請日: 2022-08-08
• 公開（公告）號: CN115311142A
• 公開（公告）日: 2022-11-08
• 發明（設計）人: 裘樂淼;房乃玉;張樹有;王陽;王自立
• 申請（專利權）人: 浙江大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T3/00;G06T5/50;G06V10/80;G06V10/762;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

本發明公開了一種基于姿勢?形狀?內容推理的人體圖像序列生成方法。該方法根據自頂向下的特征推斷順序，將姿勢插值路徑限制在姿勢流形中，利用姿勢流形網絡線性控制參數實現姿勢插值。利用遷移注意網絡將插值后的姿勢特征轉換到端形狀特征中，采用注意力機制強調高跨度的空間關系。通過比較目標形狀和端形狀，內容轉換網絡估計多尺度特征級光流，并分別變形服裝聚類和人體聚類的內容特征，同時采用特征碼注入機制輔助無源特征的內容推斷。本發明適用于連續的人體圖像生成，該方法有助于解決服裝在線零售中靜態模特圖像服裝效果展示效果差的問題，有助于實現虛擬試衣和服裝售賣的動態展示，有助于姿勢驅動的動畫電影制作。

技術領域

本發明屬于人體姿勢圖像轉換領域，尤其涉及一種基于姿勢-形狀-內容推理的人體圖像序列生成方法。

背景技術

在網上服裝零售中，商家通常在網站上用多張模特圖片來展示衣服的穿著效果。但消費者只能在靜態展示中感知特定姿勢或視圖下的服裝穿著狀態。而動態展示則能為消費者提供全方位的服裝穿著狀態感知，其需要以兩張模特圖像為端圖像，推理其間的連續人體圖像序列。這項任務要求生成模型進行自頂向下的特征推理并對任意姿勢的推理具有魯棒性。此外，人體圖像序列合成方法還可以應用到虛擬試衣、電影制作和人的重新識別。

現有的人體姿勢轉換研究主要聚焦于標準視圖間任意姿勢的推理，對任意視圖下任意姿勢的轉換不具有魯棒性；由于從姿勢到圖像的重映射為稀疏對應，為了保證生成圖像的質量，必須建立合理的特征推斷層級。同時，為了得到連續的圖像序列，并不能把姿勢作為先驗特征，亟需一種參數驅動的姿勢插值方法；現有的人體姿勢轉換研究通常將圖像的整體內容輸入網絡，從而導致網絡過載產生低質量的預測結果，其缺乏合理的特征分類以協助網絡在內容轉換中強調特征重點。在內容轉換的空間映射中，需要在有源特征和無源特征的轉換嵌入有效的推理機制，以提高圖像的生成質量。

綜上，現有的技術難以實現兩張端圖像間連續人體圖像序列的推斷任務。

發明內容

本發明的目的在于針對現有技術的不足，提供了一種基于姿勢-形狀-內容推理的人體圖像序列生成方法。

本發明的目的是通過以下技術方案來實現的：一種基于姿勢-形狀-內容推理的人體圖像序列生成方法，包括以下步驟：

步驟(1)：將服裝圖像的起始插值端姿勢概率熱圖和終止插值端姿勢概率熱圖輸入姿勢流形網絡，通過插值參數t控制姿勢特征的焦點移動，得到插值后的姿勢概率熱圖；

步驟(2)：將插值后的姿勢概率熱圖和端實例級分割圖輸入到遷移注意網絡得到目標實例級分割圖；

步驟(3)：通過對比步驟(2)得到的目標實例級分割圖以及端實例級分割圖，估計多尺度特征級光流；

步驟(4)：從端實例級分割圖中提取特征碼；

步驟(5)：將人體圖像輸入至圖像合成模塊，最終輸出插值參數t條件下的人體圖像。

進一步地，所述步驟(1)包括以下子步驟：

(1.1)將服裝圖像的起始插值端姿勢概率熱圖p₀輸入姿勢編碼器E_p中并在姿勢編碼器E_p的末端生成起始姿勢特征圖服裝圖像的終止插值端姿勢概率熱圖p₁輸入姿勢編碼器E_p中并在姿勢編碼器E_p的末端生成終止姿勢特征圖

(1.2)將起始姿勢特征圖終止姿勢特征圖并行輸入第一瓶頸層組合，所述第一瓶頸層組合包括3×3個瓶頸層；起始姿勢特征圖經過3個瓶頸層輸出終止姿勢特征圖經過3個瓶頸層輸出

(1.3)隨后將起始姿勢特征圖終止姿勢特征圖輸入至姿勢流形模塊進行姿勢插值得到插值姿勢特征圖其中，t為插值參數，t為和大小一樣的系數矩陣，⊙為元素相乘符號；插值姿勢特征圖經過1個瓶頸層輸出