[發明專利]一種基于人體骨架提取的多相機外參自動標定方法

有效

• 申請號: 202110289301.0
• 申請日: 2021-03-18
• 公開（公告）號: CN113077519B
• 公開（公告）日: 2022-12-09
• 發明（設計）人: 關俊志;耿虎軍;高峰;柴興華;陳彥橋;張澤勇;李晨陽;王雅涵;彭會湘;陳韜亦
• 申請（專利權）人: 中國電子科技集團公司第五十四研究所
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06T7/73;G06V10/75;G06V10/40;G06N3/04;G06N3/08;G06F17/16
• 代理公司: 河北東尚律師事務所 13124
• 代理人: 王文慶

1.一種基于人體骨架提取的多相機外參自動標定方法，其特征在于，包括以下步驟：

(1)使單個行人在攝像機監控區域內行走，多攝像機同時錄制視頻，得到同步化的視頻；

(2)從每一個視頻中截取同樣幀數的行人在不同位置的圖像；

(3)對每一幀圖像進行處理，利用深度學習算法提取圖像中的行人骨骼關節點，得到每個骨骼關節點的圖像像素坐標；

(4)根據已知攝像機內參，利用每個骨骼關節點的圖像像素坐標計算每個骨骼關節點的圖像物理尺寸坐標；

(5)選取任意一個攝像機坐標系作為世界坐標系，利用骨骼關節點的圖像物理尺寸坐標并通過本質矩陣計算其他攝像機的外參；

其中，所述步驟(5)的具體方式為：

(501)記錄行人體骨骼關節點三維位置在不同攝像機下的離散三維點云k為攝像機標示，i為骨骼關節點標示，t代表不同時刻；

(502)任意選取一個攝像機的攝像機坐標系作為第一世界坐標系，該攝像機的離散三維點云為則其中R^k和c^k為攝像機k的外參，即旋轉矩陣和平移向量；

(503)選取多對骨骼關節點的匹配點計算本質矩陣E^k，然后通過分解本質矩陣E^k得到c^k和R^k；其中，本質矩陣E^k的計算方式為：

由成像骨骼關節點和兩個攝像機的中心點構成一個平面，即和c^k三個向量在同一平面，可得：

將和帶入上式，消掉和可得：

其中，E^k＝|c^k|_×R^k，為本質矩陣，|c^k|_×為向量c^k的反對稱矩陣，和分別為骨骼關節點i在選取攝像機和標示為k的攝像機中t時刻的圖像物理尺寸坐標，和分別為骨骼關節點i在選取攝像機和標示為k的攝像機中t時刻的縱坐標；

(504)通過三角測量以及步驟(503)計算得到的c^k和R^k，計算兩個不同骨骼關節點在標示為k的攝像機坐標系下的坐標和則兩個不同骨骼關節點之間的距離為并利用已知兩個骨骼關節點之間的實際物理長度計算得到尺度信息λ^k：

(505)將尺度信息添加到平移向量，得到每個攝像機的實際平移向量為λ^kc^k。

2.根據權利要求1所述的一種基于人體骨架提取的多相機外參自動標定方法，其特征在于，所述步驟(3)的具體方式為：

(301)對每一幀圖像進行神經網絡預測，得到每個骨骼關節點的熱力圖和部分親和力字段；

(302)應用非最大抑制算法從熱力圖提取關節的具體圖像位置以及置信度；

(303)利用提取的關節信息和部分親和力字段找到肢體鏈接，獲得所有連接，每一個連接看作是一個肢體；

(304)將擁有相同關節的肢體看作是同一個人的肢體，拼裝肢體構成人，并得到所有骨骼關節點的圖像像素坐標。