[發(fā)明專利]一種新的非接觸式人機交互方法及系統有效
| 申請?zhí)枺?/td> | 202011395956.8 | 申請日： | 2020-12-03 |
| 公開（公告）號： | CN112363629B | 公開（公告）日： | 2021-05-28 |
| 發(fā)明（設計）人： | 袁譽樂;于奇;郭學胤;梁立新;相韶華 | 申請（專利權）人： | 深圳技術大學 |
| 主分類號： | G06F3/01 | 分類號： | G06F3/01;G06N3/04 |
| 代理公司： | 深圳壹舟知識產權代理事務所(普通合伙) 44331 | 代理人： | 寇闖 |
| 地址： | 518118 廣東省深*** | 國省代碼： | 廣東;44 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 接觸 人機交互 方法 系統 | ||
1.一種新的非接觸式人機交互方法，包括如下步驟：
S100、在深度攝像機的二維平面圖像中，利用深度學習系統自動檢測顯示屏幕的三個頂點A、B、C和目標點F，得到各點的平面像素坐標；
S200、結合深度攝像機內參，將頂點A、B、C和目標點F的平面像素坐標轉換為深度攝像機坐標系下的三維坐標；
S300、計算目標點F在顯示屏幕上的投影點F’在深度攝像機坐標系下的三維坐標；
S400、計算投影點F’在顯示屏幕上的平面像素坐標；
S500、識別目標點F的動作，調用相關系統鼠標接口進行鼠標事件觸發(fā)。
2.如權利要求1所述的新的非接觸式人機交互方法，其特征在于，所述步驟S100包括如下子步驟：
S110、利用基于深度學習的目標檢測算法對顯示屏幕的頂點A、B、C進行自動檢測，得到各點的平面像素坐標；
S120、建立一個兩階段的目標檢測深度神經網絡結構，對目標點F進行自動檢測，包括：
S121、建立一個目標物體檢測深度神經網絡，用于檢測二維平面圖像中的目標物體，對檢測到的目標物體區(qū)域進行擴展，并根據擴展后的區(qū)域定位目標物體；
S122、建立一個目標點檢測深度神經網絡，用于檢測目標物體的目標點，并定位出目標點，得到目標點F的平面像素坐標。
3.如權利要求2所述的新的非接觸式人機交互方法，其特征在于，所述步驟S120還包括：建立一個雙通道注意力機制的神經網絡，用于提高檢測目標點的定位精度。
4.如權利要求1所述的新的非接觸式人機交互方法，其特征在于，所述步驟S300包括：
根據頂點A、B、C，計算經過頂點A的屏幕平面的法向量n，根據線段FF’平行于法向量n和線段AF’垂直于法向量n，計算投影點F’的三維坐標。
5.如權利要求1所述的新的非接觸式人機交互方法，其特征在于，所述步驟S400包括：
計算投影點F’的平面像素坐標中橫坐標u與縱坐標v之比，然后結合顯示屏幕的屏幕分辨率，得到投影點F’的平面像素坐標。
6.如權利要求1所述的新的非接觸式人機交互方法，其特征在于，所述步驟S400包括：
分別計算投影點F’到線段AB的距離DFAB和投影點F’到線段AC的距離DFAC，得到投影點F’的平面像素坐標中橫坐標u與縱坐標v之比，然后結合顯示屏幕的屏幕分辨率，根據u＝(DFAB/AC)*屏幕水平像素，v＝(DFAC/AB)*屏幕垂直像素，得到投影點F’的平面像素坐標F’(u,v)。
7.一種新的非接觸式人機交互系統，包括計算機、深度攝像機、顯示屏幕，計算機分別與深度攝像機和顯示屏幕連接，所述系統采用如權利要求1-6中任一項所述的新的非接觸式人機交互方法進行人機交互。
8.一種計算機可讀存儲介質，其存儲用于電子數據交換的程序，所述程序用于執(zhí)行如權利要求1-6中任一項所述的新的非接觸式人機交互方法。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于深圳技術大學，未經深圳技術大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業(yè)授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202011395956.8/1.html，轉載請聲明來源鉆瓜專利網。
- 上一篇：一種協調質量的阻尼間隔棒
- 下一篇：數據推薦方法、裝置、電子設備及存儲介質
