[發明專利]基于手勢識別的投票方法與系統、電子設備

在審

• 申請號: 202110345251.3
• 申請日: 2021-03-29
• 公開（公告）號: CN113065458A
• 公開（公告）日: 2021-07-02
• 發明（設計）人: 王洪;周有喜
• 申請（專利權）人: 新疆愛華盈通信息技術有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 深圳市嘉勤知識產權代理有限公司 44651
• 代理人: 辛鴻飛

1.一種基于手勢識別的投票方法，其特征在于，包括：

獲取攝像頭采集的圖像；

對所述圖像進行手勢檢測，獲取手勢中預設數量的關鍵點；

當根據所述關鍵點的位置判斷所述手勢為預設手勢時，按照預設投票規則進行投票計數。

2.根據權利要求1所述的基于手勢識別的投票方法，其特征在于，所述對所述圖像進行手勢檢測，獲取所述手勢中預設數量的關鍵點包括：

采用關鍵點檢測模型對所述圖像進行處理，獲取所述手勢中預設數量的關鍵點；

其中，所述關鍵點檢測模型包括由5層卷積層、3層全連接層以及輸出層構成的深度學習網絡。

3.根據權利要求1所述的基于手勢識別的投票方法，其特征在于，所述根據關鍵點的位置判斷所述手勢為預設手勢，包括：

獲取預設手勢的預設關鍵點在所述圖像中的位置；

計算所述關鍵點的位置與預設關鍵點在圖像中的位置的相似度；

當所述相似度滿足預設相似度閾值時，判斷所述手勢為預設手勢。

4.根據權利要求2所述的基于手勢識別的投票方法，其特征在于，所述采用關鍵點檢測深度學習網絡模型對所述圖像進行處理之前，還包括構建訓練集對所述關鍵點檢測模型進行訓練；

其中，所述構建訓練集的步驟包括：

通過多個攝像頭獲取當前訓練手勢的多個視角的圖像；

采用關鍵點檢測模型對所述訓練手勢的多個視角的圖像分別進行向前傳播處理，分別獲得每個視角圖像的多個關鍵點；

通過多個視角的圖像中的多個關鍵點，并結合視覺定位中三角測量原理建立關鍵點空間定位模型；

當多個視角的圖像中的第一視角圖像在所述進行向前傳播處理的過程中未獲取得到第一關鍵點時，根據所述關鍵點空間模型以及第一視角圖像中已獲取的關鍵點的位置，在第一視角圖像中獲取所述第一關鍵點的位置；

將所述多個視角圖像以及獲取的所有關鍵點，構建所述訓練集。

5.根據權利要求4所述的基于手勢識別的投票方法，其特征在于，在所述分別獲得每個視角圖像的關鍵點之后，在所述通過三角測量原理建立關鍵點空間模型之前，還包括：

獲取每個視角的圖像中的每個關鍵點的置信度；

根據每個視角的圖像中的每個關鍵點的置信度，計算得到置信度評分；

當所述置信度評分小于預設置信度評分時，則刪除當前所述訓練手勢的所有視角的圖像。

6.根據權利要求5所述的基于手勢識別的投票方法，其特征在于，所述置信度評分的計算公式為：

其中，S為所述置信度評分，v為視角的序號，m為視角的總數量，p為關鍵點的序號，n為所有關鍵點的數量，為第v視角的圖像中第p個關鍵點的置信度，γ為預設系數，為第v視角的圖像中第p個關鍵點在所述圖像中的橫坐標，為第v視角的圖像中第p個關鍵點在所述圖像中的縱坐標，為第v視角的圖像中所有關鍵點橫坐標的平均值，為第v視角的圖像中所有關鍵點縱坐標的平均值。

7.根據權利要求4所述的基于手勢識別的投票方法，其特征在于，所述通過多個攝像頭獲取當前訓練手勢的多個視角的圖像的步驟中，所述多個攝像頭均勻分布在所述訓練手勢周圍，所述攝像頭的數量大于10個。

8.根據權利要求1所述的基于手勢識別的投票方法，其特征在于，所述預設手勢包括：點贊手勢，其中，所述點贊手勢為大拇指向遠離掌心的方向伸出，剩余四指向掌心內側彎曲的手勢；

所述點贊手勢中預設關鍵點包括：掌心關鍵點、大拇指指掌關節關鍵點、大拇指指間關節關鍵點、食指指尖關鍵點、中指指尖關鍵點、無名指指尖關鍵點、小拇指指尖關鍵點。

9.一種電子設備，其特征在于，包括存儲器和處理器，所述存儲器存儲有計算機程序，所述計算機程序可被處理器所執行，以用于實現如權利要求1-8任一項所述的基于手勢識別的投票方法。

10.一種基于手勢識別的投票系統，其特征在于，包括后臺服務器、電子終端和至少一個攝像機，所述后臺服務器與所述電子終端、攝像機通信連接，所述電子終端與所述攝像機通信連接；

所述攝像機用于采集圖像，并將所述圖像上傳至所述服務器；

所述服務器用于根據上傳的對所述圖像進行手勢檢測，獲取手勢中預設數量的關鍵點，并發送至所述電子終端，當根據所述關鍵點的位置判斷所述手勢為預設手勢時，按照預設投票規則進行投票計數，并將所述投票計數的結果傳輸至電子終端；

所述電子終端用于展示所述投票計數的結果。