[發明專利]自動化起重機吊具上多相機的統一標定方法

有效

• 申請號: 202111480198.4
• 申請日: 2021-12-07
• 公開（公告）號: CN113902814B
• 公開（公告）日: 2022-03-15
• 發明（設計）人: 石先城;萬金建;李恒;曹志俊;張濤
• 申請（專利權）人: 武漢港迪智能技術有限公司
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06T5/00
• 代理公司: 武漢紅觀專利代理事務所(普通合伙) 42247
• 代理人: 陳凱

1.自動化起重機吊具上多相機的統一標定方法，其特征在于：包括如下步驟：

S1：在起重機吊具的鎖頭附近分別對應安裝一個吊具相機，使得各吊具相機的取景方向豎直朝下且分別對準集裝箱遠離地面一端的鎖孔，四個吊具相機分別獲取同一集裝箱端面四個不同鎖孔對應的圖像；

S2：構建各吊具相機坐標系，并構建集裝箱世界坐標系；分別對四個吊具相機獲取的鎖孔圖像進行畸變矯正，獲得各吊具相機的內參矩陣；

S3：分別對吊具相機獲取的四個鎖孔圖像進行鎖孔檢測，并進行鎖孔定位；

S4：在鎖孔定位后的圖形采用橢圓擬合算法提取鎖孔邊緣，獲取鎖孔橢圓的虛擬外接矩形，在各吊具相機對應的圖像坐標系中提取虛擬外接矩形的四個頂點的圖像坐標；

S5：根據步驟S2獲得的吊具相機的內參矩陣、步驟S4獲取的圖像坐標系中提取虛擬外接矩形的各頂點的圖像坐標，解算各吊具相機相對于集裝箱世界坐標系的外參矩陣；

S6：根據坐標變換理論，求取以吊具相機構建的各吊具相機坐標系的相對位姿的解算；

步驟S2中所述獲得各吊具相機的內參矩陣，是分別建立各吊具相機的相機坐標系，令四個吊具相機為A、B、C和D，對應的相機坐標系分別為、、與；各相機坐標系的Z軸方向為吊具相機光軸指向集裝箱遠離地面一端的鎖孔的方向，各相機坐標系的X軸和Y軸分別與Z軸方向垂直；以集裝箱上表面的幾何中心為原點，以集裝箱的長度延伸方向、寬度延伸方向和豎直向下方向作為坐標軸，構建集裝箱世界坐標系；采用張正友標定法分別對四個吊具相機獲取的鎖孔圖像進行畸變矯正：通過各吊具相機將集裝箱世界坐標系中的鎖孔圖像變換為各吊具相機的像素坐標系中的點，令各吊具相機內參矩陣，其中，，與表示在圖像坐標系中二維坐標兩個軸向上單位距離的像素個數；為各吊具相機的焦距，與為焦距與像素縱橫比的融合；為徑向畸變參數，指示了圖像坐標系中拍攝的標定法采用的棋盤標定板邊緣的夾角大小；與為吊具相機感光板的中心在像素坐標系中的坐標；分別對各吊具相機A、B、C和D求取對應的內參矩陣；

步驟S3中所述對吊具相機獲取的四個鎖孔圖像進行鎖孔檢測，是采用目標檢測算法YOLO V5進行鎖孔所在區域的檢測和識別；

所述提取虛擬外接矩形的四個頂點的圖像坐標，是選擇位于鎖孔區域邊緣的點在圖像坐標系的圖像坐標，通過二項式擬合方式構建橢圓，求取橢圓的中心位置、長軸和短軸；以橢圓中心為基準，分別將長軸與短軸向圖像坐標系軸向方向偏移半短軸和半長軸的距離，偏移后合圍成的虛擬外接矩形的四個頂點在圖像坐標系下的坐標即為待提取的頂點的圖像坐標；

所述解算各吊具相機相對于集裝箱世界坐標系的外參矩陣，步驟S4中令提取的各鎖孔虛擬外接矩形頂點的圖像坐標為、、和共16組坐標；上述16組圖像坐標對應在集裝箱世界坐標系的三維坐標定義為、、和；根據吊具相機針孔模型，對吊具相機A存在如下關系：

公式1；

公式2；

公式3；

公式4；

由于步驟S2中已經求取了各吊具相機的內參矩陣，故上述公式1、2、3與4右邊第一項中、、、和均為已知，與分別代表吊具相機A對應的鎖孔虛擬外接矩形頂點的二維圖像坐標，、與分別代表吊具相機A對應的鎖孔虛擬外接矩形頂點在集裝箱世界坐標系下的三維坐標，；為集裝箱世界坐標系到吊具相機的尺度因子；聯立上述公式，采用PnP算法求解上述方程組，得到吊具相機A相對于集裝箱的位姿和；采用同樣的方法，分別對吊具相機B、C和D，求取相對于集裝箱的位姿和、和以及和，是零矩陣的轉置；

步驟S6中所述各吊具相機坐標系的相對位姿的解算，采用如下方法：根據坐標變換理論，令集裝箱世界坐標系中存在一點，則該點在吊具相機A中的坐標變換關系為：，和為吊具相機A相對于集裝箱的位姿，同理可得到點在吊具相機B、C和D中的坐標變換關系為，，；、、與為點在吊具相機A、B、C和D對應的坐標系中的三維坐標；聯立上述方程，吊具相機B對應的吊具相機坐標系與吊具相機A對應的吊具相機坐標系之間的轉換關系為：，則吊具相機B相對于吊具相機A的外參矩陣為：旋轉矩陣，平移向量，其中為的逆矩陣；同樣的，吊具相機C相對于吊具相機B的吊具相機坐標系之間的轉換關系為：，是的逆矩陣；吊具相機D相對于吊具相機C的吊具相機坐標系之間的轉換關系為：，是的逆矩陣。

2.根據權利要求1所述的自動化起重機吊具上多相機的統一標定方法，其特征在于：所述采用PnP算法求解上述方程組，是采用P3P算法，即從各個鎖孔虛擬外接矩形頂點的圖像坐標中選取3個，選擇該三個點對應的鎖孔虛擬外接矩形頂點在集裝箱世界坐標系下的三維坐標，形成三組對應的圖像坐標與三維坐標作為計算用的特征點求解吊具相機相對于集裝箱的位姿的結果，剩余的1個鎖孔虛擬外接矩形頂點以及該頂點在對應的集裝箱世界坐標系下的三維坐標作為驗證點；通過計算得到的各位姿的結果分別計算驗證點重投影誤差，選擇對應的重投影誤差最小的位姿的結果作為該吊具相機相對于集裝箱的位姿。