[發(fā)明專利]一種圖像處理方法、裝置、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010470551.X
• 申請日: 2020-05-28
• 公開（公告）號: CN111652110A
• 公開（公告）日: 2020-09-11
• 發(fā)明（設(shè)計）人: 謝符寶;劉文韜;錢晨
• 申請（專利權(quán)）人: 北京市商湯科技開發(fā)有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/20;G06K9/46;G06N3/04
• 代理公司: 北京派特恩知識產(chǎn)權(quán)代理有限公司 11270
• 代理人: 崔曉嵐;張穎玲

本公開實施例公開了一種圖像處理方法、裝置、電子設(shè)備及存儲介質(zhì)。所述方法包括：獲得多幀深度圖像中的第一深度圖像的手部的檢測框；所述第一深度圖像為所述多幀深度圖像中的任一幀深度圖像；對所述檢測框內(nèi)的深度圖像進行特征提取，基于提取出的特征得到所述手部的關(guān)鍵點的三維坐標(biāo)數(shù)據(jù)。

技術(shù)領(lǐng)域

本公開涉及計算機視覺技術(shù)領(lǐng)域，具體涉及一種圖像處理方法、裝置、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)

目前，對于圖像中的手部的檢測及追蹤方案大多采用單目攝像頭或雙目攝像頭的紅外圖像或彩色圖像，但紅外圖像或彩色圖像都無法確定圖像中的手部的準(zhǔn)確的三維信息，從而無法做到更快速、準(zhǔn)確的手部檢測及追蹤。

發(fā)明內(nèi)容

本公開實施例提供一種圖像處理方法、裝置、電子設(shè)備及存儲介質(zhì)。

本公開實施例提供了一種圖像處理方法，所述方法包括：獲得多幀深度圖像中的第一深度圖像的手部的檢測框；所述第一深度圖像為所述多幀深度圖像中的任一幀深度圖像；對所述檢測框內(nèi)的深度圖像進行特征提取，基于提取出的特征得到所述手部的關(guān)鍵點的三維坐標(biāo)數(shù)據(jù)。

在本公開的一些可選實施例中，所述獲得多幀深度圖像中的第一深度圖像的手部的檢測框，包括：響應(yīng)于所述第一深度圖像為所述多幀深度圖像中的首幀深度圖像的情況，對所述第一深度圖像進行手部檢測處理，獲得所述第一深度圖像的手部的檢測框；響應(yīng)于所述第一深度圖像為所述多幀深度圖像中的非首幀深度圖像的情況，基于第二深度圖像中的手部的檢測框，獲得所述第一深度圖像中的手部的檢測框；所述第二深度圖像為所述第一深度圖像之前的一幀圖像。

在本公開的一些可選實施例中，所述基于第二深度圖像中的手部的檢測框，獲得所述第一深度圖像中的手部的檢測框，包括：基于所述第二深度圖像中的手部的檢測框所在區(qū)域確定第一區(qū)域；所述第一區(qū)域大于所述檢測框所在區(qū)域；根據(jù)所述第一區(qū)域確定所述第一深度圖像中與所述第一區(qū)域的位置范圍對應(yīng)的手部的檢測框。

在本公開的一些可選實施例中，所述對所述檢測框內(nèi)的深度圖像進行特征提取之前，所述方法還包括：確定所述檢測框內(nèi)的手部的中心深度，基于所述中心深度對所述檢測框內(nèi)的深度圖像進行居中化處理，得到居中化處理后的深度圖像；所述對所述檢測框內(nèi)的深度圖像進行特征提取，包括：對所述居中化處理后的深度圖像進行特征提取。

在本公開的一些可選實施例中，所述確定所述檢測框內(nèi)的手部的中心深度，包括：基于所述第一深度圖像中的手部的檢測框內(nèi)至少部分深度圖像的深度值，確定所述手部的中心深度；所述基于所述中心深度對所述檢測框內(nèi)的深度圖像進行居中化處理，得到居中化處理后的深度圖像，包括：利用所述手部的中心深度，調(diào)整所述手部的檢測框內(nèi)的深度圖像的深度值，得到居中化處理后的深度圖像。

在本公開的一些可選實施例中，所述基于提取出的特征得到手部的關(guān)鍵點的三維坐標(biāo)數(shù)據(jù)，包括：基于提取出的特征得到手部的關(guān)鍵點的二維圖像坐標(biāo)數(shù)據(jù)和深度數(shù)據(jù)；所述二維圖像坐標(biāo)數(shù)據(jù)為圖像坐標(biāo)系下的數(shù)據(jù)；獲得采集所述多幀深度圖像的圖像采集設(shè)備的內(nèi)部參數(shù)；基于所述二維圖像坐標(biāo)數(shù)據(jù)、深度數(shù)據(jù)和所述內(nèi)部參數(shù)得到手部的關(guān)鍵點的三維坐標(biāo)數(shù)據(jù)；所述三維坐標(biāo)數(shù)據(jù)為相機坐標(biāo)系下的數(shù)據(jù)。

在本公開的一些可選實施例中，所述方法還包括：基于手部的所述三維坐標(biāo)數(shù)據(jù)確定所述手部的姿態(tài)；基于所述手部的姿態(tài)確定交互指令。

本公開實施例還提供了一種圖像處理裝置，所述裝置包括：第一處理單元和第二處理單元；其中，

所述第一處理單元，用于獲得多幀深度圖像中的第一深度圖像的手部的檢測框；所述第一深度圖像為所述多幀深度圖像中的任一幀深度圖像；

所述第二處理單元，用于對所述檢測框內(nèi)的深度圖像進行特征提取，基于提取出的特征得到所述手部的關(guān)鍵點的三維坐標(biāo)數(shù)據(jù)。