[發(fā)明專利]一種圖像處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010470551.X
• 申請(qǐng)日: 2020-05-28
• 公開（公告）號(hào): CN111652110A
• 公開（公告）日: 2020-09-11
• 發(fā)明（設(shè)計(jì)）人: 謝符寶;劉文韜;錢晨
• 申請(qǐng)（專利權(quán)）人: 北京市商湯科技開發(fā)有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/20;G06K9/46;G06N3/04
• 代理公司: 北京派特恩知識(shí)產(chǎn)權(quán)代理有限公司 11270
• 代理人: 崔曉嵐;張穎玲

1.一種圖像處理方法，其特征在于，所述方法包括：

獲得多幀深度圖像中的第一深度圖像的手部的檢測(cè)框；所述第一深度圖像為所述多幀深度圖像中的任一幀深度圖像；

對(duì)所述檢測(cè)框內(nèi)的深度圖像進(jìn)行特征提取，基于提取出的特征得到所述手部的關(guān)鍵點(diǎn)的三維坐標(biāo)數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲得多幀深度圖像中的第一深度圖像的手部的檢測(cè)框，包括：

響應(yīng)于所述第一深度圖像為所述多幀深度圖像中的首幀深度圖像的情況，對(duì)所述第一深度圖像進(jìn)行手部檢測(cè)處理，獲得所述第一深度圖像的手部的檢測(cè)框；

響應(yīng)于所述第一深度圖像為所述多幀深度圖像中的非首幀深度圖像的情況，基于第二深度圖像中的手部的檢測(cè)框，獲得所述第一深度圖像中的手部的檢測(cè)框；所述第二深度圖像為所述第一深度圖像之前的一幀圖像。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述基于第二深度圖像中的手部的檢測(cè)框，獲得所述第一深度圖像中的手部的檢測(cè)框，包括：

基于所述第二深度圖像中的手部的檢測(cè)框所在區(qū)域確定第一區(qū)域；所述第一區(qū)域大于所述檢測(cè)框所在區(qū)域；

根據(jù)所述第一區(qū)域確定所述第一深度圖像中與所述第一區(qū)域的位置范圍對(duì)應(yīng)的手部的檢測(cè)框。

4.根據(jù)權(quán)利要求1至3任一項(xiàng)所述的方法，其特征在于，所述對(duì)所述檢測(cè)框內(nèi)的深度圖像進(jìn)行特征提取之前，所述方法還包括：

確定所述檢測(cè)框內(nèi)的手部的中心深度，基于所述中心深度對(duì)所述檢測(cè)框內(nèi)的深度圖像進(jìn)行居中化處理，得到居中化處理后的深度圖像；

所述對(duì)所述檢測(cè)框內(nèi)的深度圖像進(jìn)行特征提取，包括：

對(duì)所述居中化處理后的深度圖像進(jìn)行特征提取。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述確定所述檢測(cè)框內(nèi)的手部的中心深度，包括：

基于所述第一深度圖像中的手部的檢測(cè)框內(nèi)至少部分深度圖像的深度值，確定所述手部的中心深度；

所述基于所述中心深度對(duì)所述檢測(cè)框內(nèi)的深度圖像進(jìn)行居中化處理，得到居中化處理后的深度圖像，包括：

利用所述手部的中心深度，調(diào)整所述手部的檢測(cè)框內(nèi)的深度圖像的深度值，得到居中化處理后的深度圖像。

6.根據(jù)權(quán)利要求1至5任一項(xiàng)所述的方法，其特征在于，所述基于提取出的特征得到手部的關(guān)鍵點(diǎn)的三維坐標(biāo)數(shù)據(jù)，包括：

基于提取出的特征得到手部的關(guān)鍵點(diǎn)的二維圖像坐標(biāo)數(shù)據(jù)和深度數(shù)據(jù)；所述二維圖像坐標(biāo)數(shù)據(jù)為圖像坐標(biāo)系下的數(shù)據(jù)；

獲得采集所述多幀深度圖像的圖像采集設(shè)備的內(nèi)部參數(shù)；

基于所述二維圖像坐標(biāo)數(shù)據(jù)、深度數(shù)據(jù)和所述內(nèi)部參數(shù)得到手部的關(guān)鍵點(diǎn)的三維坐標(biāo)數(shù)據(jù)；所述三維坐標(biāo)數(shù)據(jù)為相機(jī)坐標(biāo)系下的數(shù)據(jù)。

7.根據(jù)權(quán)利要求1至6任一項(xiàng)所述的方法，其特征在于，所述方法還包括：

基于手部的所述三維坐標(biāo)數(shù)據(jù)確定所述手部的姿態(tài)；

基于所述手部的姿態(tài)確定交互指令。

8.一種圖像處理裝置，其特征在于，所述裝置包括：第一處理單元和第二處理單元；其中，

所述第一處理單元，用于獲得多幀深度圖像中的第一深度圖像的手部的檢測(cè)框；所述第一深度圖像為所述多幀深度圖像中的任一幀深度圖像；

所述第二處理單元，用于對(duì)所述檢測(cè)框內(nèi)的深度圖像進(jìn)行特征提取，基于提取出的特征得到所述手部的關(guān)鍵點(diǎn)的三維坐標(biāo)數(shù)據(jù)。

9.根據(jù)權(quán)利要求8所述的裝置，其特征在于，所述第一處理單元，用于響應(yīng)于所述第一深度圖像為所述多幀深度圖像中的首幀深度圖像的情況，對(duì)所述第一深度圖像進(jìn)行手部檢測(cè)處理，獲得所述第一深度圖像的手部的檢測(cè)框；響應(yīng)于所述第一深度圖像為所述多幀深度圖像中的非首幀深度圖像的情況，基于第二深度圖像中的手部的檢測(cè)框，獲得所述第一深度圖像中的手部的檢測(cè)框；所述第二深度圖像為所述第一深度圖像之前的一幀圖像。