[發明專利]一種手持物體存在檢測方法

有效

• 申請號: 202010326599.3
• 申請日: 2020-04-23
• 公開（公告）號: CN111553891B
• 公開（公告）日: 2022-09-27
• 發明（設計）人: 叢明;劉冬;王憲偉
• 申請（專利權）人: 大連理工大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/187;G06T7/136;G06T7/62;G06T7/90;G06T7/80;G06T5/00
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 李曉亮;潘迅

1.一種手持物體存在檢測方法，其特征在于，包括以下步驟：

(1)獲取深度攝像頭與彩色攝像頭圖像的轉換關系；

首先，獲取彩色攝像頭、深度攝像頭的內參及對應棋盤格圖像的外參，進而建立兩個攝像頭的像素坐標系-相機坐標系-世界坐標系建立相互之間的聯系；

對于光學成像體系，存在圖像像素點與相機坐標系下點的轉接關系如公式(1)所示；

z·p＝K·P (1)

其中，K為相機內參矩陣，dx和dy代表每一列和每一行的像素點與實際單位mm的轉換關系；f為相機焦距；f_x＝f/dx和f_y＝f/dy分別表示相機在水平和豎直兩個方向上的尺度因子；u₀和v₀分別代表相機光心與像素坐標系原點在水平及豎直方向上的偏移量；

由公式(1)得彩色攝像頭的圖像像素坐標點p_rgb與彩色相機坐標系坐標點P_rgb的轉換關系如公式(2)所示：

z_rgb·p_rgb＝K_rgb·P_rgb (2)

同理由公式(1)得深度攝像頭的圖像像素坐標點P_depth與深度相機坐標系坐標點P_depth的轉換關系如公式(3)所示：

z_depth·p_depth＝K_depth·P_depth (3)

對于同一個棋盤格圖像，得到彩色攝像頭的外參R_CO和T_CO，以及深度攝像頭的外參R_DO和T_DO，進而求得兩者關系如下：

T_CD＝T_CO-R_CD·T_DO (5)

對于非齊次坐標系下各自相機坐標系下的坐標點P_rgb與P_depth有關系如下：

P_rgb＝R_CD·P_depth+T_CD (6)

聯立公式(2)、公式(3)、公式(6)，得到：

z_rgb·p_rgb＝K_rgb·R_CD·K_depth^-1·z_depth·p_depth+K_rgb·T_CD (7)

其中，z_rgb＝z_depth；則該公式(7)為深度與彩色圖像對應像素坐標系的轉換關系；

(2)將兩個攝像頭的光軸平行于地面，并將兩個攝像頭安裝于機器人平臺上，人體距離攝像頭1-2.5m范圍內，讓攝像頭直視手部位置，且手部不要其它部位遮擋，采集彩色圖像與深度圖像數據；

(3)圖像預處理；對深度圖像數據進行高斯濾波，填充丟失的深度點；將彩色圖像轉換到HSV顏色空間，獲取HSV圖像，并對其進行高斯濾波處理；

(4)使用骨骼識別程序讀取識別到的人體手部關節，獲取手部坐標P_hand＝(u，v，z)，其中，u、v代表手部坐標在深度攝像頭的像素坐標系的坐標，z代表該關節對應的深度；

(5)設定P_hand為種子點，在深度圖像中采用區域生長法迭代遍歷深度值在[z-T_l，z+T_r]范圍內的坐標點，其中，T_l是分割閾值上界，T_r是分割閾值下界；并記錄所有生長坐標點，獲得手部相關區域掩膜；所述分割閾值通過人為調整設定，確保手部相關區域掩膜能夠將手部區域清晰分割；

(6)將步驟(5)得到的手部相關區域掩膜映射到HSV圖像上，獲得手部相關區域的HSV圖像，遍歷該區域并進行積分，獲得區域面積S_all；同時根據皮膚顏色具體情況設定手部皮膚的HSV顏色閾值，遍歷手部相關區域的HSV圖像，將處于皮膚顏色閾值區間的部分進行積分，獲得皮膚積分面積S_skin；

(7)求取手部皮膚比例因子根據預設的比例閾值S進行手持物體存在判斷，當sS時視為存在手持物體，反之則不存在。