[發明專利]基于進化算法的多攝像機高精度自動標定方法

有效

• 申請號: 202110353589.3
• 申請日: 2021-04-01
• 公開（公告）號: CN113160325B
• 公開（公告）日: 2022-10-11
• 發明（設計）人: 張立華;蘇柳楨;林野;張沛軒;邢警
• 申請（專利權）人: 長春博立電子科技有限公司
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06T7/215;G06T7/246;G06V10/75;G06V10/762;G06V10/82;G06N3/02;G06N3/12
• 代理公司: 長春科宇專利代理有限責任公司 22001
• 代理人: 馬寶來

1.基于進化算法的多攝像機高精度自動標定方法，利用基于進化算法的多攝像機高精度自動標定系統，

所述基于進化算法的多攝像機高精度自動標定系統包括多個攝像機、中央處理器、圖像處理器以及存儲器，所述中央處理器分別與攝像機、圖像處理器以及存儲器連接；所述攝像機中每臺攝像機與至少其他一臺攝像機的視角有重疊；

其特征是：所述方法包括以下步驟，并且以下步驟順次進行，

步驟一、攝像機拍攝同一個場地中行人行走的視頻；

步驟二、中央處理器同步采集每臺攝像機拍攝同一個場地中行人行走的視頻，作為輸入；

步驟三、使用基于深度神經網絡的人體檢測算法檢測每幅圖像中人體的位置；

步驟四、根據檢測到的每幅圖像中人體的位置從圖像中分割預先設定的人體感興趣區域小圖像；

步驟五、通過基于深度神經網絡的人體重識別算法和關鍵點檢測算法分別檢測并獲得人體感興趣區域小圖中的行人關鍵點位置信息和身份信息；

步驟六、根據人體關鍵點位置信息獲得人體的軀干位置；同時，通過人體關鍵點位置信息和身份信息獲得同一個人在不同攝像機視角中的對應腳點及腳點的數據信息，所述腳點的數據信息包括腳點的像素坐標；

步驟七、根據人體的軀干位置，通過聚類和回歸的方法計算并獲得每幅圖像中坐標系X、Y、Z三個方向上消失點的位置信息；

步驟八、通過消失點的位置信息， 根據基于消失點的攝像機參數重建法獲得每個攝像機的初始參數，然后根據初始參數和不同攝像機視角中的對應腳點獲得每個攝像機對應的世界坐標系間的變換矩陣；

步驟九、使用進化算法迭代優化每個攝像機初始的攝像機參數，得到攝像機標定參數的局部最優值；

步驟十、將每組攝像機的局部最優參數投射到同一個世界坐標系中，得到高精度的多攝像機參數，多攝像機高精度自動標定完成。

2.根據權利要求1所述的基于進化算法的多攝像機高精度自動標定方法，其特征是：所述步驟五中的行人關鍵點位置信息包括人體五個頭部關鍵點、四個軀干關鍵點和八個四肢關鍵點的像素坐標。

3.根據權利要求1所述的基于進化算法的多攝像機高精度自動標定方法，其特征是：所述步驟五中的身份信息為多個攝像機所拍攝的圖像中，將人體的感興趣區域小圖與之前時刻所檢測到的人體圖像相匹配，所檢測識別到的人體的唯一身份信息。

4.根據權利要求1所述的基于進化算法的多攝像機高精度自動標定方法，其特征是：步驟八中，攝像機的初始參數包括γ，β，α，f_x，f_y，c_u，c_v，t_Z8個參數，其中γ為攝像機坐標系相對于世界坐標系X軸方向上的旋轉角，β為攝像機坐標系相對于世界坐標系Y軸方向上的旋轉角，α為攝像機坐標系相對于世界坐標系Z軸方向的選擇角，f_x為攝像機內部參數中的坐標系X方向焦距分量，f_y為攝像機內部參數中的坐標系Y方向焦距分量，c_u為主點在像素坐標系ou方向上的坐標，c_v為主點在像素坐標系ov方向上的坐標，t_Z為攝像機的高度值。

5.根據權利要求1所述的基于進化算法的多攝像機高精度自動標定方法，其特征是：所述步驟八中根據攝像機視角中的對應腳點獲得每個攝像機對應的世界坐標系間的變換矩陣的方法，具體步驟如下：

(1)根據人行走在地面上的基本假設，將圖像每個人腳在世界坐標系上的Z軸坐標設置為0；

(2)根據腳點的像素坐標和投影矩陣公式，建立腳點從世界坐標系到像素坐標系的投影方程；

(3)求解腳點的投影方程，得到腳點的世界坐標系坐標；

(4)根據步驟五中獲得的人體感興趣區域小圖中的行人關鍵點位置信息和身份信息，將同一時刻不同視角中的同一腳點配對；

(5)使用相鄰兩個攝像機世界坐標系中對應的多個腳點，通過基于SVD算法的剛性變換矩陣求解方法求解并獲得兩世界坐標系的剛性變換矩陣，進而獲得每個攝像機對應的世界坐標系間的變換矩陣。

6.根據權利要求1所述的基于進化算法的多攝像機高精度自動標定方法，其特征是：所述步驟九中進化算法的具體算法步驟如下：

(1)根據初始的攝像機參數構建第一代的攝像機參數概率分布模型，將初始的幾何誤差作為第一代的幾何誤差；

(2)根據上一代的攝像機參數概率分布模型隨機生成若干個攝像機參數組；

(3)分別使用每組攝像機參數，使用攝像機投影矩陣和攝像機的投影關系計算并獲得世界坐標系中地面上的方形網格在攝像機視角中的投影，然后通過計算投影坐標與各網格線交點之間的歐式距離，獲得投影與理想投影點的重投影誤差；

(4)分別使用每組攝像機參數，使用基于投影的對稱轉移誤差計算方法，計算并獲得不同攝像機視角中對應腳點的對稱轉移誤差；

(5)將每組攝像機參數的重投影誤差和對稱轉移誤差相加得到幾何誤差，篩選并保留幾何誤差比上一代幾何誤差均值小的攝像機參數組；

(6)計算保留下來的攝像機參數組的幾何誤差均值，獲得所需優化的攝像機參數的多元正態概率分布模型；

(7)重復步驟(2)～(6)，直到攝像機參數幾何誤差均值的減小比率小于設定閾值。