[發明專利]一種可預訓練手模型感知表征的手語識別系統

有效

• 申請號: 202110553174.0
• 申請日: 2021-05-20
• 公開（公告）號: CN113239834B
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 李厚強;周文罡;胡鶴臻;趙偉超
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 鄭立明;韓珂

1.一種可預訓練手模型感知表征的手語識別系統，其特征在于，包括：手姿態嵌入向量生成模塊、編碼器、手模型感知解碼器以及預測模塊；

在自監督預訓練階段，對于給定的包含雙手的二維手姿態序列隨機選取設定比例的幀數據進行標記，對標記的幀數據以均等概率隨機進行包含遮罩的預處理操作；之后，所有二維手姿態數據均通過手姿態嵌入向量生成模塊生成相應的手姿態嵌入向量，并通過編碼器編碼后由手模型感知解碼器重建出相應的二維手姿態數據，最終，利用標記的幀數據對應的二維手姿態重建結果構建損失函數；其中，由手模型感知解碼器重建出相應的二維手姿態數據包括：采用手模型MANO得到三維關節點，并將其映射回二維空間，從而重建出二維手姿態數據；

在下游任務微調階段，將手模型感知解碼器替換為預測模塊，利用未遮罩的二維手姿態序列進行編碼器參數與預測模塊參數的微調使得系統能夠用于手語識別任務；

所述手姿態嵌入向量包括：手勢狀態嵌入向量f_p、時序嵌入向量f_o和手性嵌入向量f_h；其中：二維手姿態數據被送入手勢狀態提取器，得到幀級別的語義表征向量，也即手勢狀態嵌入向量f_p；對于同一個手，對于不同時刻加入不同的時序嵌入向量f_o；同時，無論手性，對于同一時刻增加了同樣的時序嵌入向量f_o；對于同一個手的所有幀數據都設置相同的手性嵌入向量f_h，手性嵌入向量f_h用來標記幀數據中手為左手或右手；最終，手姿態嵌入向量表示為：其中，T為二維手姿態序列的總幀數。

2.根據權利要求1所述的一種可預訓練手模型感知表征的手語識別系統，其特征在于，所述預處理操作包括三類操作：

遮罩關節點建模操作，隨機選擇若干個關節點，對選擇的每一個關節點以相同的概率隨機執行零掩膜操作或隨機空間干擾操作；

遮罩幀建模操作，即對所有關節點進行零掩膜操作；

恒等建模操作，將不變的標記輸入系統中。

3.根據權利要求1所述的一種可預訓練手模型感知表征的手語識別系統，其特征在于，所述編碼器為包含自注意力和前向傳播網絡的Transformer編碼器，該編碼器對輸入的手姿態嵌入向量F₀進行編碼，編碼結果F_N保持與F₀一致的尺寸，編碼過程表示為：

其中，i＝1，...，N，N為編碼器的總層數，F_i表示第i層的表征向量，表示第i層的中間層得到的特征向量；L(·)，M(·)和C(·)分別表示層正則化、多頭自注意力和前向傳播網絡。

4.根據權利要求1所述的一種可預訓練手模型感知表征的手語識別系統，其特征在于，所述手模型感知解碼器重建出相應的二維手姿態數據的步驟包括：

首先，通過隱語義向量提取模塊從編碼器輸出的編碼特征中提取描述手狀態和相機的隱語義向量，表示為：

F_la＝{θ，β，c_r，c_o，c_s}

其中，θ和β表示手姿態和形狀語義變量，二者屬于描述手狀態的隱語義向量；c_r、c_o與c_s是弱透視成像相機的參數，屬于相機的隱語義向量，分別指示旋轉、平移和縮放；

然后，通過手模型解碼隱語義向量到手表征，所述手模型采用MANO模型，解碼過程表示為：

M(β，θ)＝W(T(β，θ)，J(β)，θ，Q)

其中，Q是一系列的混合權重，B_S(·)和B_P(·)分別對應于形狀和姿態混合函數；為手模板，T(β，θ)表示修正后的手模版，J(β)為MANO手模型輸出的16個三維關節點，W(·)為骨骼蒙皮算法；

基于M(β，θ)提取出16個三維手關節點與5個三維指尖點，組成21個三維關節點，記為

最后，將21個三維關節點映射回二維空間，從而重建出二維手姿態數據，表示為：

其中，Π(·)指代垂直投影，表示三維關節點，表示映射得到的二維關節點。