[發明專利]一種大場景下基于人體姿態估計的相機標定方法

有效

• 申請號: 202011520371.4
• 申請日: 2020-12-21
• 公開（公告）號: CN112581540B
• 公開（公告）日: 2022-11-18
• 發明（設計）人: 謝藝明;王雁剛;趙允琦
• 申請（專利權）人: 東南大學
• 主分類號: G06T7/80
• 分類號: G06T7/80
• 代理公司: 南京眾聯專利代理有限公司 32206
• 代理人: 許小莉

本發明公開了一種大場景下基于人體姿態估計的相機標定方法，該方法包括步驟1：得到各相機的初始相機參數；步驟2：在多視角相機環境下采集多人數據集用于優化初始相機參數；步驟3：預測數據集中的人體關節點信息；步驟4：將多視角下的人體二維關節點利用初始化的相機參數進行投影，將二維圖像坐標系下的像素坐標投射到世界坐標系下得到關節點的三維坐標，并將同一關節點的三維投影進行歸一化；步驟5：將關節點三維空間坐標重投影到各個視角下的圖像坐標系中，得到關節點真值和重投影關節點間的均方誤差，利用LM算法進行非線性二次優化并對相機參數進行更新，直到均方誤差達到設定的閾值。本發明的方法能夠實現更加精確的相機標定。

技術領域

本發明涉及計算機視覺、相機標定及三維視覺領域，特別涉及一種大場景下基于人體姿態估計的相機標定方法。

背景技術

多視角的相機標定是計算機三維視覺領域的基石，也是三維視覺領域的一個研究熱點。計算機視覺領域的基本任務之一是從二維圖像信息出發計算三維空間位置信息，而三維位置信息與圖片像素點之間的相互關系就是由相機參數決定的。相機參數的精度以及算法穩定性直接影響后續工作結果的準確性，因此提高相機標定的精度是計算機視覺領域的重點所在。

傳統的相機標定算法基于圖像特征提取來進行相機參數的計算，如通過對棋盤格或者標定桿這類標定物進行圖像特征的提取，這種方法在小場景下可以取得較好的效果并得到了廣泛的應用。但當移植到大場景下時，由于環境因素的影響導致圖像特征不明顯，此時并不能夠很好進行圖像特征的提取，因此無法得到較為準確的相機參數，而高級語義特征則可以很好的解決這個問題。

利用卷積神經網絡對低級視覺特征抽取，對其進行分析得到高級語義特征可以降低環境因素的影響，從而適應大場景下的相機標定算法。基于此思想，我們采用人作為標定物，利用人的關節點作為語義特征進行相機標定。但利用人作為標定物存在一些難點。關節點檢測是一個比較困難的事情，同時利用多人進行相機參數標定存在遮擋問題以及關節點匹配的問題。但近年來由于深度學習算法的發展，人體姿態估計領域取得了快速的發展，人體關節點檢測模型不斷迭代更新，其中卡耐基梅隆大學的人體姿態識別庫Openpose可以很好的實現多人人體關節點檢測與匹配，本發明在此基礎上完成基于人體關節點特征的多視角相機標定方法。

發明內容

針對大場景下的相機標定問題，本發明基于人體姿態估計提出了一種大場景下基于人體姿態估計的相機標定方法。利用張正友標定法得到初始的標定參數，利用人體姿態估計網絡預測各個視角下的人體關節點信息，將多視角下的人體關節點參數協同投射并進行空間點的匹配與歸一化，利用LM算法進行非線性二次優化，從而實現更加精確的相機標定。

本發明采用以下技術方案：

一種大場景下基于人體姿態估計的相機標定方法，該方法包括如下步驟：

步驟1：初始化階段：在多視角相機標定環境下擺放棋盤格或者標定桿，利用張正友標定方法得到各相機的初始相機參數；

步驟2：在多視角相機環境下采集多人數據集用于優化初始相機參數；

步驟3：利用現有的人體姿態估計模型預測數據集中的人體關節點信息得到多視角下的人體二維關節點；

步驟4：將步驟3得到的多視角下的人體二維關節點利用步驟2中初始化的相機參數進行投影，將二維圖像坐標系下的像素坐標投射到世界坐標系下得到關節點的三維坐標，并將同一關節點的三維投影進行歸一化得到一個統一的三維空間點；

步驟5：將步驟4得到的關節點三維空間坐標重投影到各個視角下的圖像坐標系中，得到關節點真值和重投影關節點間的均方誤差，利用LM算法進行非線性二次優化并對相機參數進行更新，通過減小均方誤差來實現優化相機標定參數的目的；

步驟6：重復3-5步驟，利用數據集中采集的多視角多人圖片重復進行上述優化過程不斷優化相機參數，直到均方誤差達到設定的閾值，停止該迭代過程。