[發明專利]一種手持物體存在檢測方法有效
| 申請號： | 202010326599.3 | 申請日： | 2020-04-23 |
| 公開（公告）號： | CN111553891B | 公開（公告）日： | 2022-09-27 |
| 發明（設計）人： | 叢明;劉冬;王憲偉 | 申請（專利權）人： | 大連理工大學 |
| 主分類號： | G06T7/00 | 分類號： | G06T7/00;G06T7/187;G06T7/136;G06T7/62;G06T7/90;G06T7/80;G06T5/00 |
| 代理公司： | 大連理工大學專利中心 21200 | 代理人： | 李曉亮;潘迅 |
| 地址： | 116024 遼*** | 國省代碼： | 遼寧;21 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 手持 物體 存在 檢測 方法 | ||
本發明屬于視覺識別的技術領域，涉及到一種手持物體存在檢測方法。該方法采用的傳感器為彩色攝像頭與深度攝像頭集成一體的攝像頭傳感器。通過傳感器同時獲取彩色、深度以及人體骨骼信息，并將人體手部關節坐標點映射到深度圖像上，通過區域生長法提取手部掩膜區域，再將其映射到彩色圖像上，基于HSV閾值分割方法判斷手部皮膚占比，從而確認是否存在握持物體。本發明通過視覺識別的方式對是否存在握持物體進行判斷，從而為人機交互中意圖判斷提供依據；可以極大的提高機器人的對人類意圖的檢測精度，減少誤判。
技術領域
本發明屬于視覺識別的技術領域，涉及到一種手持物體存在的檢測方法。
背景技術
從一百五十年前第一臺工業機器人誕生開始，人們一直致力于使用機器人來代替人類繁重的工作。其從發展歷史上看，大致經歷了三個階段。早期階段，第一代機器人稱為示教機器人，主要通過操作者進行示教，并讓機器人不斷重復示教動作；第二代機器人稱為可感知外界信息的機器人，他主要通過配置各種傳感器，來對視、觸、力等信息進行感知；第三代機器人稱為智能機器人，也是目前正在探索的一個階段，它能夠根據外接環境信息自主判斷任務需求，并與人類自由交互。
智能人機物體傳遞是作為智能機器人中重要的一環。想要讓人類能夠與機器人開展傳遞過程，需要讓機器人能夠對人類傳遞者的意圖進行判斷，而檢測人類手中是否存在握持物體，則可以極大的提高機器人的對人類意圖的檢測精度，減少誤判。而目前國內在此方面的研究尚屬空白。
發明內容
針對現有技術存在的問題，本發明提出一種手持物體存在檢測方法。
本發明采用的技術方案為：
一種手持物體存在檢測方法，該方法采用的傳感器為彩色攝像頭與深度攝像頭集成一體的攝像頭傳感器。通過傳感器同時獲取彩色、深度以及人體骨骼信息，并將人體手部關節坐標點映射到深度圖像上，通過區域生長法提取手部掩膜區域，再將其映射到彩色圖像上，基于HSV閾值分割方法判斷手部皮膚占比，從而確認是否存在握持物體。具體包括以下步驟：
(1)獲取深度攝像頭與彩色攝像頭圖像的轉換關系。
使用張正友標定法獲取彩色攝像頭、深度攝像頭的內參及對應棋盤格圖像的外參。從而將兩個攝像頭的像素坐標系-相機坐標系-世界坐標系建立相互之間的聯系，為后續圖像對齊做準備。
對于光學成像體系，存在圖像像素點與相機坐標系下點的轉接關系如公式(1)所示。
z·p＝K·P (1)
其中，K為相機內參矩陣，dx和dy代表每一列和每一行的像素點與實際單位mm的轉換關系；f為相機焦距；fx＝f/dx和fy＝f/dy分別表示相機在水平和豎直兩個方向上的尺度因子；u0和v0分別代表相機光心與像素坐標系原點在水平及豎直方向上的偏移量。
由公式(1)可得彩色攝像頭的圖像像素坐標點prgb與彩色相機坐標系坐標點Prgb的轉換關系如公式(2)所示：
zrgb·prgb＝Krgb·Prgb (2)
同理由公式(1)可得深度攝像頭的圖像像素坐標點pdepth與深度相機坐標系坐標點Pdepth的轉換關系如公式(3)所示：
zdepth·pdepth＝Kdepth·Pdepth (3)
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于大連理工大學，未經大連理工大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202010326599.3/2.html，轉載請聲明來源鉆瓜專利網。
