[發(fā)明專利]圖像中指尖點的確定方法、裝置、存儲介質及電子設備

在審

• 申請?zhí)枺?/td>: 201910053254.2
• 申請日: 2019-01-21
• 公開（公告）號: CN111460858A
• 公開（公告）日: 2020-07-28
• 發(fā)明（設計）人: 張慧超;周志敏;叢林
• 申請（專利權）人: 杭州易現(xiàn)先進科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 袁禮君;闞梓瑄

本發(fā)明的實施方式涉及人機交互技術領域，更具體地，本發(fā)明的實施方式涉及一種圖像中指尖點的確定方法、圖像中指尖點的確定裝置、存儲介質及電子設備。該方法包括：獲取包含手指的待處理圖像；確定所述待處理圖像中的初始指尖點；根據(jù)所述待處理圖像中所述初始指尖點所屬手指的信息確定所述初始指尖點的特征參數(shù)；基于所述特征參數(shù)以及包含所述初始指尖點的所述待處理圖像，采用預先訓練的卷積神經(jīng)網(wǎng)絡確定所述初始指尖點對應的最終指尖點。本發(fā)明可以提高在圖像中確定指尖點的準確度，并解決存在多個手指時指尖點易混淆的問題，具有較高的適用性。

技術領域

本發(fā)明的實施方式涉及人機交互技術領域，更具體地，本發(fā)明的實施方式涉及一種圖像中指尖點的確定方法、圖像中指尖點的確定裝置、存儲介質及電子設備。

背景技術

本部分旨在為權利要求中陳述的本發(fā)明的實施方式提供背景或上下文，此處的描述不因為包括在本部分中就承認是現(xiàn)有技術。

隨著人機交互技術的發(fā)展，人機交互的方式越來越多樣化，基于視覺的手勢和手指點擊的交互，擺脫了對鍵盤、鼠標等傳統(tǒng)設備的依賴，更加貼近于人類本身的交互方式。其中，指尖點(fingertip)作為人手的重要特征之一，在交互任務中扮演著重要的角色，手勢識別、對特定位置的點擊、將手指作為控制器進行游戲操控等，都依賴于精確的指尖定位和跟蹤來實現(xiàn)，是構建人機交互指令的前置步驟。

現(xiàn)有技術中對于指尖點的確定通常是基于輪廓檢測而實現(xiàn)的，在圖像中根據(jù)物體輪廓的凸包找出可能是指尖點的候選點，再通過曲率計算等方法從中進一步確定指尖點。

發(fā)明內容

然而，現(xiàn)有技術存在以下問題：

輪廓檢測的判斷標準較為單一，而實際應用中人手手指的形狀與形態(tài)可能各異，且圖像中可能存在與手指形狀相似的其他物體，從而導致指尖點的漏識別與誤識別，準確度較低。

當圖像中包含多個手指時，可能遺漏其中較為重要的指尖點，或者出現(xiàn)不同指尖點的混淆，例如希望確定食指指尖點，以食指指尖點的位置體現(xiàn)手部姿態(tài)，系統(tǒng)可能只檢測出中指的指尖點，或者誤認為食指的指尖點是中指的指尖點，導致無法準確的估計出手部姿態(tài)，從而影響指尖點識別技術的應用效果。

為此，非常需要一種改進的圖像中指尖點的確定方法，以解決現(xiàn)有技術中對于指尖點識別的準確度較低以及應用效果較差的問題。

在本上下文中，本發(fā)明的實施方式期望提供一種圖像中指尖點的確定方法、圖像中指尖點的確定裝置、存儲介質及電子設備。

在本發(fā)明實施方式的第一方面中，提供一種圖像中指尖點的確定方法，所述方法包括：獲取包含手指的待處理圖像；確定所述待處理圖像中的初始指尖點；根據(jù)所述待處理圖像中所述初始指尖點所屬手指的信息確定所述初始指尖點的特征參數(shù)；基于所述特征參數(shù)以及包含所述初始指尖點的所述待處理圖像，采用預先訓練的卷積神經(jīng)網(wǎng)絡確定所述初始指尖點對應的最終指尖點。

在本發(fā)明的一種實施方式中，所述基于所述特征參數(shù)以及包含所述初始指尖點的信息的所述待處理圖像，采用預先訓練的卷積神經(jīng)網(wǎng)絡確定所述初始指尖點對應的最終指尖點，包括：根據(jù)所述初始指尖點確定所述待處理圖像中包含有所述初始指尖點的局部圖像；基于所述特征參數(shù)，采用所述卷積神經(jīng)網(wǎng)絡對所述局部圖像進行識別，得到所述初始指尖點對應的最終指尖點。

在本發(fā)明的一種實施方式中，所述局部圖像以所述初始指尖點為中心。

在本發(fā)明的一種實施方式中，所述方法還包括：獲取樣本圖像以及所述樣本圖像中預先標注的樣本指尖點；在所述樣本圖像中生成多個樣本初始指尖點，并從所述樣本圖像中提取各所述樣本初始指尖點對應的局部樣本圖像；根據(jù)所述樣本圖像中所述樣本指尖點所屬手指的信息確定各所述樣本初始指尖點的樣本特征參數(shù)；基于所述局部樣本圖像、所述樣本特征參數(shù)以及所述樣本指尖點，訓練并得到所述卷積神經(jīng)網(wǎng)絡。