[發明專利]基于雙目攝像頭的人臉檢測跟蹤方法、裝置及電子設備

有效

• 申請號: 201910836807.1
• 申請日: 2019-09-05
• 公開（公告）號: CN110619656B
• 公開（公告）日: 2022-12-02
• 發明（設計）人: 趙拯;鄭東;趙五岳
• 申請（專利權）人: 杭州宇泛智能科技有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06V40/16;G06V40/40
• 代理公司: 北京清大紫荊知識產權代理有限公司 11718
• 代理人: 彭一波

1.一種基于雙目攝像頭的人臉檢測跟蹤方法，其特征在于，包括：

獲取所述雙目攝像頭中的第一攝像頭和第二攝像頭捕獲的第一圖像和第二圖像，其中所述第一圖像和第二圖像包含人臉圖像，所述第一攝像頭采集人臉的RGB通道的圖像，所述第二攝像頭為TOF深度攝像頭，所述TOF深度攝像頭捕獲經目標物體反射的經調制的近紅外光；

對所述第一圖像進行人臉檢測以獲得第一人臉框，其中所述第一人臉框指示所述第一圖像中人臉所在位置；

對所述第一人臉框進行外擴以獲得所述第二圖像中的第二人臉框，將所述第一人臉框在寬度方向上各擴大m倍，并且在長度方向上各擴大n倍；以及將外擴后的人臉框的坐標作為所述第二圖像中第二人臉框的坐標；

在所述第二人臉框內執行人臉配準以獲得關鍵點坐標；以及

基于所述關鍵點坐標獲得所述第二圖像的第三人臉框，其中所述第二圖像的第三人臉框指示所述第二圖像中人臉所在位置；

所述方法還包括獲取所述雙目攝像頭的IOU，其中IOU指示所述第一攝像頭和所述第二攝像頭中人臉框交集的面積與所述第一攝像頭和所述第二攝像頭中人臉框并集的面積之比，

并且所述m和n滿足以下關系式：

其中，th1為所述雙目攝像頭的IOU的值。

2.根據權利要求1所述的基于雙目攝像頭的人臉檢測跟蹤方法，其特征在于，所述基于所述關鍵點坐標獲得所述第二圖像的第三人臉框，包括：

獲取所述關鍵點坐標的集合{xi,yi}，i＝1，2…n，其中n為所述關鍵點的個數；以及

將坐標點(min{xi}，min{yi})作為所述第三人臉框的左上角坐標，并且將坐標點(max{xi}，max{yi})作為所述第三人臉框的右下角坐標以獲得所述第三人臉框，或者

根據所述關鍵點中左眼、右眼、鼻尖、左嘴角以及右嘴角關鍵五官位置獲得所述第三人臉框。

3.根據權利要求1所述的基于雙目攝像頭的人臉檢測跟蹤方法，其特征在于，所述第一攝像頭和第二攝像頭的焦距相等，并且當所述第一攝像頭和第二攝像頭距離人臉的距離的差值小于預定閾值時，捕獲所述第一圖像和所述第二圖像。

4.一種基于雙目攝像頭的人臉檢測跟蹤方法，其特征在于，包括：

獲取所述雙目攝像頭中的第一攝像頭和第二攝像頭捕獲的第一圖像和第二圖像，其中所述第一圖像和第二圖像包含人臉圖像，所述第一攝像頭采集人臉的RGB通道的圖像，所述第二攝像頭為TOF深度攝像頭，所述TOF深度攝像頭捕獲經目標物體反射的經調制的近紅外光；

對所述第一圖像進行人臉檢測以獲得第一人臉框，其中所述第一人臉框指示所述第一圖像中人臉所在位置；

對所述第一人臉框進行外擴以獲得所述第二圖像中的第二人臉框，將所述第一人臉框在寬度方向上各擴大m倍，并且在長度方向上各擴大n倍；以及將外擴后的人臉框的坐標作為所述第二圖像中第二人臉框的坐標；

以及，在所述第二人臉框內執行人臉檢測以獲得第二圖像的第三人臉框，其中所述第二圖像的第三人臉框指示所述第二圖像中人臉所在位置；

所述方法還包括獲取所述雙目攝像頭的IOU，其中IOU指示所述第一攝像頭和所述第二攝像頭中人臉框交集的面積與所述第一攝像頭和所述第二攝像頭中人臉框并集的面積之比，

并且所述m和n滿足以下關系式：

其中，th1為所述雙目攝像頭的IOU的值。

5.根據權利要求4所述的基于雙目攝像頭的人臉檢測跟蹤方法，其特征在于，所述第一攝像頭和第二攝像頭的焦距相等，并且當所述第一攝像頭和第二攝像頭距離人臉的距離的差值小于預定閾值時，捕獲所述第一圖像和所述第二圖像。