[發明專利]一種基于先驗信息的快速圖像拼接方法

有效

• 申請號: 202110895003.6
• 申請日: 2021-08-05
• 公開（公告）號: CN113344795B
• 公開（公告）日: 2021-10-29
• 發明（設計）人: 曲東升;李長峰;冀偉;陳輝;查進;張文曄;羅文;朱華波;陶友瑞;韓旭
• 申請（專利權）人: 常州銘賽機器人科技股份有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 常州至善至誠專利代理事務所(普通合伙) 32409
• 代理人: 趙旭

本發明公開一種基于先驗信息的快速圖像拼接方法，首先利用標定板計算出三軸機器人固定運動軌跡中拍攝圖像的重疊關系以及圖像間的單應性矩陣；根據先驗信息對固定軌跡的任意工件圖像進行粗配準，此步驟不依賴任何圖像特征；在先驗信息中，根據圖像重疊區域的寬高比取整確定四叉樹的初始節點數目，利用四叉樹算法快速提取一定數量的點特征，在拼接縫附近提取線特征，依據點和線約束優化圖像配準關系；針對特征稀疏而導致點和線約束失敗的圖像使用四叉樹算法在各個小區域計算圖像互信息來精細化圖像配準；利用精確的配準關系拼接出待測工件表面的完整圖像信息。該方法能夠不依賴圖像特征快速解算出圖像間的單應性矩陣,使用局部信息優化單應性矩陣。

技術領域

本發明涉及圖像拼接的技術領域，尤其是一種基于先驗信息的快速圖像拼接方法。

背景技術

為了獲取大視場、高清晰、完整的圖像，以保證測量精度，需要對被測工件的多幅局部圖像進行精確、快速地拼接。對于較大的目標場景，其尺寸超出圖像采集攝像機的視場范圍，普通攝像機只能采集到其中的一個局部。圖像拼接是一種將相互有重疊區域的圖像進行配準、融合，從而得到一幅大視野、高分辨率圖像的技術。在許多半導體制造、材料科學、生物醫學研究等場景中，非常需要圖像拼接來獲取代表特定結構或整個部分大面積的全景圖像，同時又保持微觀分辨率。由于鏡頭拍照的位置不同，圖像間雖然有相同的拍攝區域，但是相機的世界坐標位置發生了變化，導致圖像間的成像平面不在同一平面，簡單重疊的誤差極大。

經過多年的發展，圖像拼接技術可確定的分為四個主要步驟：圖像配準、重投影、拼縫縫合以及圖像融合。圖像配準和圖像融合是影響圖像拼接質量最關鍵的步驟。在一些低紋理、稀疏特征、高度重復特征的場景中，圖像配準穩定性差，常出現配準失敗的情況，這是因為圖像配準需要提取圖像中的特征點，低紋理、稀疏特征場景中難以提取足夠多的特征點，所以圖像間特征點的匹配也基本不行；而高度重復特征場景雖然能夠提取足夠的特征點，但是每個特征點的特征向量也高度相似，導致特征點間的匹配不準確，最后配準也就不穩定或者直接失敗。一般的基于特征點的配準算法難以提取足夠的特征或者特征匹配容易混淆，而基于區域的算法計算量大，實時性差，難以滿足生產要求。

發明內容

本發明要解決的技術問題是：為了解決上述背景技術中存在的問題，提供一種基于先驗信息的快速圖像拼接方法，能夠不依賴圖像特征快速解算出圖像間的單應性矩陣,再使用局部信息優化單應性矩陣。

本發明解決其技術問題所采用的技術方案是：一種基于先驗信息的快速圖像拼接方法，具體步驟如下：

第一步驟、首先利用標定板計算出三軸機器人固定運動軌跡中拍攝圖像的重疊關系以及圖像間的單應性矩陣；

第二步驟、將該單應性矩陣用于輸入圖像的粗配準，根據先驗信息對固定軌跡的任意工件圖像進行粗配準，此步驟不依賴任何圖像特征；

第三步驟、在先驗信息中，根據圖像重疊區域的寬高比取整確定四叉樹的初始節點數目，利用四叉樹算法快速提取一定數量的點特征，在拼接縫附近提取線特征，依據點和線約束優化圖像配準關系，在點和線約束中，相機位姿參數在每一幀都用光速平差法進行優化，然后將優化后的位姿用于更新單應性矩陣，其中為相機位姿參數中的旋轉參數；為相機位姿參數中的平移參數；

第四步驟、針對特征稀疏而導致點和線約束失敗的圖像使用四叉樹算法在各個小區域計算圖像互信息來精細化圖像配準；

第五步驟、利用精確的配準關系拼接出待測工件表面的完整圖像信息。

進一步具體地限定，上述技術方案中，所述三軸機器人的相機坐標系為，像素坐標系為，根據相機模型可得兩坐標系之間的變換關系：

（1）