[發明專利]一種基于無人機單目傾斜的圖像拼接方法及相關裝置

有效

• 申請號: 202010925730.8
• 申請日: 2020-09-07
• 公開（公告）號: CN111784622B
• 公開（公告）日: 2021-01-26
• 發明（設計）人: 袁睿;劉夯
• 申請（專利權）人: 成都縱橫自動化技術股份有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T3/40
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 曹瑞敏

本申請提供一種基于無人機單目傾斜的圖像拼接方法及相關裝置，涉及無人機的圖像拼接領域。該方法包括：獲取無人機的相機發送的多張序列圖像；獲取第一圖像的像空間?攝影旋轉矩陣；第一圖像為多張序列圖像中的第一幀圖像；根據像空間?攝影旋轉矩陣，獲取每張序列圖像在攝影測量坐標系下的待拼接圖像；根據所有的待拼接圖像，獲取目標圖像；目標圖像表征相機在攝影測量坐標系下采集的圖像信息。將第一幀序列圖像使用對應的像空間?攝影旋轉矩陣進行處理后，使得后續的序列圖像確定在攝影測量坐標系下的待拼接圖像，所有的待拼接圖像使用一致的攝影測量坐標系，避免圖像拼接平面出現錯位。

技術領域

本申請涉及無人機的圖像拼接領域，具體而言，涉及一種基于無人機單目傾斜的圖像拼接方法及相關裝置。

背景技術

隨著自動控制和無線傳輸等技術的發展，無人機在軍事和民用上發展迅速。無人機搭載相機，可以快速的獲得地面影像，便于實時對地面區域情況的獲取。但是由于單幀圖像有限，難以獲得整個拍攝區域的情況。在攝影測量領域中，可以利用內業軟件事后處理序列圖像，獲得高精度的正射圖像、地形圖和三維模型，但是其耗時長，無法實時獲得。

視頻圖像拼接技術利用無人機系統實時傳輸的序列圖像，在地面利用算法增量式獲得飛行區域的全景圖像。對于一些飛行任務，如公路巡檢，河道巡檢等，要求無人機不能在正上方飛行，相機無法保持測繪中常用的正攝狀態，而是傾斜狀態。單相機傾斜攝影帶來了很多問題，如無法擬合出地平面，造成圖像拼接錯位嚴重；圖像之間的單應變換關系錯誤，導致單應變換后的圖像嚴重失真變形。

發明內容

有鑒于此，本申請的目的在于提供一種基于無人機單目傾斜的圖像拼接方法及相關裝置。

為了實現上述目的，本申請采用的技術方案如下：

第一方面，本申請提供一種基于無人機單目傾斜的圖像拼接方法，所述方法包括：獲取無人機的相機發送的多張序列圖像；獲取第一圖像的像空間-攝影旋轉矩陣；所述第一圖像為所述多張序列圖像中的第一幀圖像，所述像空間-攝影旋轉矩陣表征所述相機拍攝所述第一圖像時，所述相機的像空間坐標系相對于攝影測量坐標系的旋轉向量；根據所述像空間-攝影旋轉矩陣，獲取每張所述序列圖像在所述攝影測量坐標系下的待拼接圖像；根據所有的所述待拼接圖像，獲取目標圖像；所述目標圖像表征所述相機在所述攝影測量坐標系下采集的圖像信息。

在可選的實施例中，根據所述像空間-攝影旋轉矩陣，獲取每張所述序列圖像在所述攝影測量坐標系下的待拼接圖像，包括：獲取所述第一圖像與第二圖像的位移信息；所述第二圖像為所述多張序列圖像中，除所述第一圖像外的任意一張圖像；根據所述位移信息，將所述第一圖像對應的像空間坐標系設置為圖像重建的參考坐標系；所述參考坐標系的x-y平面與所述攝影測量坐標系的x-y平面平行，所述參考坐標系的z軸正方向與所述攝影測量坐標系的z軸負方向相同；根據所述參考坐標系，獲取每張所述序列圖像對應的待拼接圖像。

在可選的實施例中，根據所述參考坐標系，獲取每張所述序列圖像對應的待拼接圖像，包括：獲取所述第二圖像的傾斜角信息；所述傾斜角信息表征所述相機拍攝所述第二圖像時的像空間坐標系的Z軸與所述攝影測量坐標系的Z軸的偏移角度；根據所述傾斜角信息和所述像空間-攝影旋轉矩陣，獲取坐標旋轉矩陣；將所述第二圖像按照所述坐標旋轉矩陣進行坐標變換，以獲取待拼接圖像。

在可選的實施例中，所述傾斜角信息通過以下方式獲取：

其中，為所述像空間坐標系的Z軸相對于所述攝影測量坐標系的Z軸的傾斜角信息；，為所述像空間坐標系相對于所述攝影測量坐標系的旋轉向量，n_i為所述像空間坐標系的Z軸在所述像空間坐標系中對應的向量，為所述像空間坐標系的Z軸在所述攝影測量坐標系對應的向量；為所述攝影測量坐標系的Z軸在所述攝影測量坐標系中對應的向量。