[發明專利]模型感知的手勢遷移方法

有效

• 申請號: 202110554286.8
• 申請日: 2021-05-20
• 公開（公告）號: CN113239835B
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 李厚強;周文罡;胡鶴臻;王煒倫;趙偉超
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10;G06V10/44;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 鄭立明;韓珂

本發明公開了一種模型感知的手勢遷移方法，主要包含三個部分，手表征提取、拓撲建模和手勢圖像生成，三者依次串聯形成了整個方案，該方案采用了融合模型與數據驅動的范式，通過引入手型先驗，將手的高維網格作為手勢狀態的中間表征，能夠增強手勢遷移的效果，具有良好的應用前景。

技術領域

本發明涉及手勢遷移技術領域，尤其涉及一種模型感知的手勢遷移方法。

背景技術

手勢遷移任務定義為在目標姿態和保留源手勢身份信息的約束下，生成目標手勢圖片。該任務具有重要的意義，可以廣泛應用于手語生成、數據增強、人機交互等領域。手自身展現高鉸接性，同時，相比于身體或臉，手具有幾乎一致的外觀，缺乏局部特異性特征。這使得手具有自遮擋和更加細粒度的紋理，為學習到源與目標之間的精確映射提出了挑戰。近些年，越來越多的研究者將他們的研究興趣轉向手勢遷移。Liu等人提出一個生成對抗網絡GestureGAN。Tang等人提出一種使用簡單的標記在真實場景下進行手勢遷移的方法。

與此同時，手勢遷移任務涉及手的表征。之前有很多工作基于稀疏的手姿態表征手的狀態，如二維、三維手關節點。相比于稀疏的姿態，將手的狀態進行稠密建模能夠表達更多的信息。之前的方法采用多項技術，如嘗試建模形狀基元、高斯過程和、球形網格等。然而這些方法只能粗略估計手型，并帶有人工痕跡。

現有手勢遷移方法采用直接的數據驅動范式，通過二維稀疏關節表征編碼手勢狀態，根據源和目標手關節點學習到的光流，源手勢圖像被遷移生成目標手勢圖像。例如，GestureGAN方法嘗試在兩項先進的損失函數監督下，以周期一致性的方式學習這種變換關系。但是，由于二維骨架點的表征能力的局限性，現有技術不能很好地遷移生成復雜的帶有自遮擋的手勢，常導致最后的生成圖片中出現模糊和不合理的手指位置等。

發明內容

本發明的目的是提供一種模型感知的手勢遷移方法，通過融合模型與數據驅動，引入手型先驗，增強手勢遷移效果。

本發明的目的是通過以下技術方案實現的：

一種模型感知的手勢遷移方法，包括：

手表征提取：所述從源手勢圖像與目標手勢圖像中各自提取出相應的形狀參數、姿態參數與相機參數，再結合手模型各自提取出相應的手表征；

拓撲建模：建立手表征與圖像平面對齊的手拓撲圖，并根據源手勢圖像與目標手勢圖像各自對應的手拓撲圖，計算出轉換流；

手勢圖像生成：利用兩個手拓撲圖中的結構信息，并結合轉換流，生成保留源手勢圖像中身份信息以及目標手勢姿態的圖像。

由上述本發明提供的技術方案可以看出，手勢遷移方法包含三個部分，手表征提取、拓撲建模和手勢圖像生成，三者依次串聯形成了整個方案，該方案采用了融合模型與數據驅動的范式，通過引入手型先驗，將手的高維網格作為手勢狀態的中間表征，能夠增強手勢遷移的效果，具有良好的應用前景。

附圖說明

為了更清楚地說明本發明實施例的技術方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域的普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他附圖。

圖1為本發明實施例提供的一種模型感知的手勢遷移方法整體框架圖。

具體實施方式

下面結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分實施例，而不是全部的實施例。基于本發明的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明的保護范圍。

本發明實施例提供一種模型感知的手勢遷移方法，其主要包括：