[發明專利]基于無人機的人臉跟蹤系統及方法

有效

• 申請號: 201711473685.1
• 申請日: 2017-12-29
• 公開（公告）號: CN108363946B
• 公開（公告）日: 2022-05-03
• 發明（設計）人: 周彬;徐朋飛;陳志超;周劍
• 申請（專利權）人: 成都通甲優博科技有限責任公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06T7/70;G06T7/80;G05D1/08
• 代理公司: 成都虹橋專利事務所(普通合伙) 51124
• 代理人: 吳中偉

1.基于無人機的人臉跟蹤系統，其特征在于，包括：

圖像采集模塊，用于采集圖像，并將采集的圖像傳給人臉檢測模塊；

目標框制作模塊，用于制作目標框，并將制作的目標框傳給目標框選擇模塊；

目標框選擇模塊，用于根據需求選擇預先制作的目標框，并將選擇的目標框傳給目標框歸一化模塊；

目標框歸一化模塊，用于對選擇的目標框進行歸一化處理，獲得歸一化目標框，并傳給人臉檢測模塊；

人臉檢測模塊，用于從采集的圖像中檢測出人臉，利用歸一化目標框框選目標人臉，獲得目標人臉圖像并傳給電子穩像模塊；

虛擬相機坐標系建立模塊，用于建立虛擬相機坐標系，并將建立的虛擬相機坐標系傳給電子穩像模塊；

IMU數據獲取模塊，用于獲取無人機的IMU數據并傳給電子穩像模塊；

電子穩像模塊，用于根據無人機的IMU數據獲取物理相機坐標系到虛擬相機坐標系的轉換矩陣，根據所述轉換矩陣對虛擬相機中的目標人臉圖像進行渲染，獲得穩像后的目標人臉圖像并傳給人臉跟蹤模塊；

人臉跟蹤模塊，用于對穩像后的目標人臉進行跟蹤具體包括：

實時獲取相機相對于目標人臉的IMU姿態數據，并將所述姿態數據中的偏航角和俯仰角返回到無人機的飛控模塊中，飛控模塊根據該俯仰角和偏航角對無人機的飛行姿態進行調整，實現無人機實時追蹤所需跟蹤的人臉。

2.基于無人機的人臉跟蹤方法，其特征在于，包括以下步驟：

a.無人機上的相機進行圖像采集；

b.確定圖像中的目標人臉，從預先制作的目標框中選擇合適的目標框進行歸一化處理后，框選目標人臉；

c.建立虛擬相機坐標系；

d.根據無人機IMU數據獲取物理相機坐標系到虛擬相機坐標系的轉換矩陣；

e根據所述轉換矩陣對虛擬相機中的目標人臉圖像進行渲染,獲得穩像圖像；

f.對穩像后的圖像進行實時追蹤：

實時獲取相機相對于目標人臉的IMU姿態數據，并將所述姿態數據中的偏航角和俯仰角返回到無人機的飛控模塊中，飛控模塊根據該俯仰角和偏航角對無人機的飛行姿態進行調整，實現無人機實時追蹤所需跟蹤的人臉。

3.如權利要求2所述的基于無人機的人臉跟蹤方法，其特征在于，步驟c中，所述建立虛擬相機坐標系的方法為：

以物理相機坐標原點為原點，作一虛擬相機坐標系，所述虛擬相機坐標系與世界坐標系夾角保持不變。

4.如權利要求2所述的基于無人機的人臉跟蹤方法，其特征在于，步驟d中，所述無人機的IMU數據包含：相機姿態P＝(R,T)，其中，R為相機姿態P中的旋轉矩陣，表示相機在相機坐標中相對于世界坐標的旋轉矩陣，T為相機機姿態P中的平移向量，表示相機在相機坐標中相對于世界坐標的平移向量，其中，矩陣M＝[R,T]即為從物理相機坐標系到虛擬相機坐標系的轉換矩陣。

5.如權利要求4所述的基于無人機的人臉跟蹤方法，其特征在于，步驟e具體包括：

e1.在虛擬相機坐標系中建立一張像素值為空的虛擬圖像；

e2.將圖像坐標系中的圖像投影到虛擬圖像中；

e3.計算虛擬圖像在虛擬相機坐標系中的對應位置，即求取虛擬坐標系圖像；

e4.計算虛擬坐標系圖像在世界坐標系中的對應位置，即求取世界坐標系圖像區域；

e5.計算世界坐標系圖像區域在相機坐標系圖像中的對應位置，即求取相機坐標系圖像區域；

e6.計算相機坐標系圖像區域在圖像坐標系中的對應位置，即求取穩像圖像區域；根據位置的對應關系，將圖像坐標系中的圖像的像素值拷貝到穩像圖像區域中。