[發明專利]手臂動作識別方法、裝置及圖像處理設備

在審

• 申請號: 201910572171.4
• 申請日: 2019-06-28
• 公開（公告）號: CN112149466A
• 公開（公告）日: 2020-12-29
• 發明（設計）人: 丁藍;譚志明
• 申請（專利權）人: 富士通株式會社
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 樊一槿;陶海萍

1.一種手臂動作識別裝置，其特征在于，所述裝置包括：

檢測單元，其對待檢測圖像進行人體檢測，得到所述圖像中的每個人體的多個關鍵點；

第一識別單元，其使用所述多個關鍵點中的肩關鍵點、肘關鍵點以及腕關鍵點識別手臂動作為向上還是向下。

2.根據權利要求1所述的裝置，其中，所述檢測單元使用級聯金字塔網絡對所述圖像進行人體檢測，得到所述圖像中每個人體的17個關鍵點。

3.根據權利要求1所述的裝置，其中，所述第一識別單元包括：

第一計算單元，其計算所述腕關鍵點和所述肘關鍵點的高度差即第一高度差，或者計算所述肘關鍵點和所述肩關鍵點的高度差即第二高度差；

第一判斷單元，其判斷所述第一高度差或者所述第二高度差是否大于0；

第一確定單元，其在所述第一判斷單元判斷為是時，確定所述手臂動作為向上，在所述第一判斷單元判斷為否時，確定所述手臂動作為向下。

4.根據權利要求3所述的裝置，其中，

所述第一計算單元根據以下公式計算所述第一高度差：

dh_we＝y_wrist-y_elbow；

所述第一計算單元根據以下公式計算所述第二高度差：

dh_es＝y_elbow-y_shoulder；

其中，dh_we為所述第一高度差，dh_es為所述第二高度差，y_wrist、y_elbow以及y_shoulder分別為所述腕關鍵點、所述肘關鍵點以及所述肩關鍵點的縱坐標。

5.根據權利要求1所述的裝置，其中，所述裝置還包括：

第二識別單元，其使用所述多個關鍵點中的肩關鍵點、肘關鍵點以及腕關鍵點識別手臂動作是否為向前。

6.根據權利要求5所述的裝置，其中，所述第二識別單元包括：

第二計算單元，其計算所述肩關鍵點和所述腕關鍵點之間的距離與所述肩關鍵點和所述肘關鍵點之間的距離以及所述肘關鍵點和所述腕關鍵點之間的距離之和的比值，或者計算所述肩關鍵點與所述肘關鍵點之間的連線與所述肘關鍵點和所述腕關鍵點之間的連線之間的夾角即第一夾角；

第二判斷單元，其判斷所述比值是否小于第一閾值或者所述第一夾角是否小于第二閾值；

第二確定單元，其在所述第二判斷單元判斷為是時，確定所述手臂動作為向前，在所述第二判斷單元判斷為否時，確定所述手臂動作不是向前。

7.根據權利要求6所述的裝置，其中，

所述第二計算單元根據以下公式計算所述比值：

所述第二計算單元根據以下公式計算所述第一夾角：

其中，R為所述比值，dist(k1,k2)為關鍵點k1和k2之間的距離，k1和k2分別為所述肩關鍵點和所述腕關鍵點，或者分別為所述肩關鍵點和所述肘關鍵點，或者分別為所述肘關鍵點和所述腕關鍵點，angel_armbend為所述第一夾角，為從所述肘關鍵點到所述肩關鍵點之間的向量點，為從所述肘關鍵點到所述腕關鍵點之間的向量點。

8.根據權利要求1所述的裝置，其中，所述裝置還包括：

第三識別單元，其使用所述多個關鍵點中的肩關鍵點、肘關鍵點以及與所述肘關鍵點位于所述人體同一側的臀關鍵點識別手臂動作是否為向前。

9.根據權利要求8所述的裝置，其中，所述第三識別單元包括：

第三計算單元，其計算所述肩關鍵點與所述肘關鍵點之間的連線與所述肩關鍵點和所述臀關鍵點之間的連線的夾角即第二夾角；

第三判斷單元，其判斷所述第二夾角是否大于第三閾值；

第三確定單元，其在所述第三判斷單元判斷為是時，確定所述手臂動作為向前，在所述第三判斷單元判斷為否時，確定所述手臂動作不是向前。

10.根據權利要求9所述的裝置，其中，所述第三計算單元根據以下公式計算所述第二夾角：

其中，angle_ab為所述第二夾角，為從所述肩關鍵點到所述臀關鍵點之間的向量點，為從所述肩關鍵點到所述肘關鍵點之間的向量點。