[發明專利]一種基于二維圖像的手骨骼捕捉、手勢判別方法

在審

• 申請號: 202111396081.8
• 申請日: 2021-11-23
• 公開（公告）號: CN114299604A
• 公開（公告）日: 2022-04-08
• 發明（設計）人: 李珊如;楊丹青;喬曉輝;呂妙芳;黃亞楠
• 申請（專利權）人: 河北漢光重工有限責任公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10;G06V10/22;G06V10/24;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京理工大學專利中心 11120
• 代理人: 仇蕾安

1.一種基于二維圖像的手骨骼捕捉、手勢判別方法，其特征在于，包括以下步驟：

步驟一、采集包含手部信息的二維圖像作為數據集，并對二維圖像中的手部信息進行標注，得到數據標簽；然后對數據標簽進行數據處理，并從中隨機選取50％的數據作為訓練數據集，剩余50％的數據作為測試數據集；

步驟二、基于深度學習方法，構建手部檢測網絡結構，并訓練數據，生成手部檢測模型；

步驟三、基于深度學習方法，構建關鍵點定位網絡結構，并訓練數據，生成關鍵點定位模型；

步驟四、實時獲取視頻流作為數據輸入；

步驟五、將步驟四中獲取的視頻流中帶手部信息的二維圖像輸入步驟二中的手部檢測模型中，進行前向計算，得到手的位置、正反面類別及角度信息；

步驟六、使用步驟五得到的手的位置信息，截取視頻流中手部位的二維圖像，并根據步驟五得到的手的角度信息對手部位的二維圖像進行旋轉矯正；

步驟七、將步驟六得到的旋轉矯正后的二維圖像輸入步驟三中的關鍵點定位模型，進行前向計算，得到手骨骼關鍵點位置信息，并獲得手骨骼輪廓；

步驟八、根據步驟七得到的手骨骼關鍵點位置信息，使用凸包算法計算手骨骼關鍵點中的邊緣點，結合步驟五取得的手部位置、正反面類別及角度信息，確定不同手勢的判別規則，對應該判別規則直接對手勢進行判別。

2.如權利要求1所述的基于二維圖像的手骨骼捕捉、手勢判別方法，其特征在于，所述步驟二中，訓練數據時，從手部檢測網絡結構的輸入端輸入步驟一所采集的二維圖像，輸出端會得到一個手部輪廓的預測結果，與數據標簽相比較得到一個誤差，將這個誤差在手部檢測模型的每一層迭代中反向傳播，直至訓練到手部檢測模型收斂或達到預設效果，測試數據集的檢測結果達到95％以上的準確率，停止訓練，生成符合預設要求的手部檢測模型。

3.如權利要求1所述的基于二維圖像的手骨骼捕捉、手勢判別方法，其特征在于，所述步驟二中構建的手部檢測網絡結構是一種基于SSD目標檢測網絡改進后的目標檢測網絡結構,通過增加損失函數的方法，構建帶角度的手部檢測網絡結構。

4.如權利要求1所述的基于二維圖像的手骨骼捕捉、手勢判別方法，其特征在于，所述步驟三中，訓練數據時，從關鍵點定位網絡結構的輸入端輸入步驟二中數據處理后的二維圖像，輸出端會得到一個手部輪廓的預測結果，與數據標簽相比較得到一個誤差，將這個誤差在關鍵點定位模型中的每一層迭代中反向傳播，直至關鍵點定位模型收斂或達到預設效果，測試數據集的檢測結果與數據標簽的歐式距離小于0.003，停止訓練，生成符合預設要求的關鍵點定位模型。

5.如權利要求1所述的基于二維圖像的手骨骼捕捉、手勢判別方法，其特征在于，所述步驟三中，關鍵點定位網絡結構是一種回歸模型，采用歐式損失回歸手骨骼21個關鍵點的坐標。

6.如權利要求1所述的基于二維圖像的手骨骼捕捉、手勢判別方法，其特征在于，所述步驟四中，使用可見光攝像頭，并通過RTSP實時獲取視頻流；或者直接讀取本地視頻獲取視頻流。

7.如權利要求1所述的基于二維圖像的手骨骼捕捉、手勢判別方法，其特征在于，所述步驟八中，判別規則設定時以手骨骼關鍵點中的邊緣點為主，以手部位置、正反面類別及角度信息作為輔助判定依據。

8.如權利要求1-7中任意一項所述的基于二維圖像的手骨骼捕捉、手勢判別方法，其特征在于，所述步驟一中，對二維圖像中的手部信息進行標注分為兩種類型，一種用于手部檢測，一種用于手骨骼關鍵點定位；其中，手部檢測的標注工具使用矩形框作為標注工具，將二維圖像中的手部信息標注出來，手部信息包括手的最小外接旋轉矩形的四點坐標、手的平面旋轉角度以及手的正反面類別標簽；手骨骼關鍵點定位捕捉的標注工具的標注方式為點標注，依次定義21個手骨骼關鍵點，其中任意兩點不重疊，標注信息包括21個手骨骼關鍵點的序號及其坐標。

9.如權利要求8所述的基于二維圖像的手骨骼捕捉、手勢判別方法，其特征在于，所述步驟一中，所述步驟三中，在訓練手骨骼關鍵點定位網絡結構之前，對數據進行矯正處理，其具體方法為：根據手的最小外接旋轉矩形的四點坐標將二維圖像中手的部位提取出來，進行旋轉矯正，矯正后得到僅包含手部分的矩形圖像；其中，需同時對手骨骼關鍵點的坐標進行相應變換。