[發明專利]基于多視角圖像的手勢姿態預測方法及系統

有效

• 申請號: 202110705019.6
• 申請日: 2021-06-24
• 公開（公告）號: CN113408443B
• 公開（公告）日: 2022-07-05
• 發明（設計）人: 紀鵬;王先建;張芳芳;馬鳳英;張慧;曹茂永
• 申請（專利權）人: 齊魯工業大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/774;G06V10/26;G06V10/44;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 祖之強

1.一種基于多視角圖像的手勢姿態預測方法，其特征在于：包括以下過程：

獲取至少兩個視角的手勢圖像數據；

根據獲取的各個視角手勢圖像和各個視角對應的預設姿態預測模型，得到各個手勢圖像預測角度；保持所要預測的右手笛卡爾坐標系手勢并將姿態傳感器貼于手掌內側，使姿態傳感器的X、Y、Z軸正方向分別與右手食指、中指和拇指方向保持一致，建立姿態傳感器的坐標軸與手勢之間的對應關系，控制器實時采集姿態傳感器輸出的角度數據，變換預設手勢在空間中的不同角度，并以姿態傳感器輸出角度數據；

對所采集的帶有姿態角度數據的手勢圖像進行整理，將拍攝的所有彩色圖像處理為灰度圖像，使數據集中僅包含灰度圖像和紅外灰度圖像這兩種數據類型相同的單通道圖像，處理后完成笛卡爾坐標系手勢圖像數據集的建立；使用建立的笛卡爾坐標系手勢圖像數據集訓練深度集成手勢姿態預測模型，所述預測模型是以卷積神經網絡為基學習器進行回歸預測，結合集成學習的思想，訓練得到多個卷積神經網絡基學習器，采用集成學習的組合策略，將各個基學習器的輸出結果進行綜合，得到一個深度集成手勢姿態預測模型；使用的是一種晝夜兩用攝像頭組成的雙視角攝像頭，采集的是包含左右兩個視角的手勢圖像，可對左右兩個視角的手勢圖像分別建立深度集成手勢姿態預測模型，并對兩個預測模型預測輸出結果的均值作為最終預測數據；

以各個手勢圖像預測角度的平均值為最終手勢角度；

采用Adaboost算法結合卷積神經網絡，構建姿態預測模型；

卷積神經網絡采用Resnet或Alexnet模型作為基學習器，設置迭代次數和學習率，選取均方誤差函數為損失函數，使用梯度下降方法對模型參數進行更新和優化，擬合一個姿態預測模型，訓練得到第k個卷積神經網絡的基學習器；

其中，預設姿態預測模型的訓練中，計算第k個卷積神經網絡在訓練集上的最大誤差、每個樣本的相對誤差、第k個卷積神經網絡的回歸誤差率和弱學習器的權重系數，根據得到的最大誤差、相對誤差、回歸誤差率和弱學習器的權重系數進行樣本權重更新。

2.如權利要求1所述的基于多視角圖像的手勢姿態預測方法，其特征在于：

迭代K次后，得到K個的卷積神經網絡回歸預測模型，并且得到K個基學習器的權重系數，選取各個弱學習器權重的中位數，采用權重中位數對應的弱學習器作為預測模型的強學習器，根據得到的強學習器得到最終的姿態預測模型。

3.如權利要求1所述的基于多視角圖像的手勢姿態預測方法，其特征在于：

更新后的樣本權重為：

其中，W_ki為原樣本權重，α_k為弱學習器的權重系數，e_ki為樣本的相對誤差。

4.如權利要求1所述的基于多視角圖像的手勢姿態預測方法，其特征在于：

采用Bagging算法構建姿態預測模型；

卷積神經網絡采用Resnet或Alexnet模型作為基學習器，設置迭代次數和學習率，選取均方誤差函數為損失函數，使用梯度下降方法對模型參數進行更新和優化，擬合一個姿態預測模型，訓練得到第k個卷積神經網絡的基學習器。

5.如權利要求4所述的基于多視角圖像的手勢姿態預測方法，其特征在于：

迭代K次后，得到K個的卷積神經網絡回歸預測模型，K個卷積神經網絡預測模型為基學習器，使用Bagging算法對基學習器進行綜合，使用K個卷積神經網絡基學習器的預測平均值作為姿態預測模型的輸出。

6.如權利要求1所述的基于多視角圖像的手勢姿態預測方法，其特征在于：

預設姿態預測模型的訓練中，手勢圖像類型包括有光照下的彩色圖像以及無光照下的紅外灰度圖像，將白天拍攝的彩色圖像處理為灰度圖像；

手勢圖像內容至少包含裸手、佩戴半指手套和佩戴全指手套的不同情況下的手勢圖像。