[發明專利]一種基于滑動窗口的圖像拼接方法及裝置

有效

• 申請號: 202110361545.5
• 申請日: 2021-04-02
• 公開（公告）號: CN113112404B
• 公開（公告）日: 2023-04-28
• 發明（設計）人: 張學敏;朱世新;梁柱錦;郭怡適
• 申請（專利權）人: 廣州圖匠數據科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郭浩輝;顏希文

1.一種基于滑動窗口的圖像拼接方法，其特征在于，包括：

輸入待拼接圖像以及所有所述待拼接圖像之間的匹配內點；

將所有所述待拼接圖像按照時間順序依次添加到捆綁調整器中，并使用預設幀數的滑動窗口對新加入到所述捆綁調整器中的待拼接圖像進行初始化，得到初始化相機參數；其中，所述相機參數包括相機內參和相機旋轉矩陣；

以重投影誤差作為目標函數，根據所述匹配內點對所述初始化相機參數進行優化，得到最優目標函數時的最優相機參數；具體為：采用預設數量的相機模型和所述滑動窗口的相機總數定義所述滑動窗口的完整狀態向量，根據所述匹配內點計算滑動窗口內的總誤差函數，以重投影誤差作為目標函數，根據所述總誤差函數以及所述完整狀態向量建立所述目標函數，求解所述目標函數得到每一幀待拼接圖像的最優相機參數；其中，所述完整狀態向量包括所有待拼接圖像的相機參數；

根據所述最優相機參數將所有所述待拼接圖像拼接成全景圖。

2.如權利要求1所述的基于滑動窗口的圖像拼接方法，其特征在于，在“輸入待拼接圖像以及所有所述待拼接圖像之間的匹配內點之前”，還包括：

對原始圖像進行圖像匹配處理，得到所述原始圖像對應的待拼接圖像以及所有所述待拼接圖像之間的匹配內點。

3.如權利要求1所述的基于滑動窗口的圖像拼接方法，其特征在于，采用預設數量的相機模型和所述滑動窗口的相機總數定義所述滑動窗口的完整狀態向量，根據所述匹配內點計算滑動窗口內的總誤差函數，以重投影誤差作為目標函數，根據所述總誤差函數以及所述完整狀態向量建立所述目標函數，求解所述目標函數得到每一幀待拼接圖像的最優相機參數，具體為：

采用相機內參矩陣和相機旋轉矩陣建立相機模型，并根據所述相機模型和所述滑動窗口的相機總數定義所述滑動窗口的完整狀態向量；

根據所述匹配內點定義相互匹配的兩幀待對齊圖像的殘差，并根據所述殘差計算滑動窗口內的總誤差函數；

以重投影誤差作為目標函數，根據所述總誤差函數以及所述完整狀態向量建立所述目標函數，求解所述目標函數得到每一幀待拼接圖像的最優相機參數。

4.如權利要求1所述的基于滑動窗口的圖像拼接方法，其特征在于，所述最優相機參數包括最優相機內參和最優相機旋轉參數，所述根據所述最優相機參數將所有所述待拼接圖像拼接成全景圖，具體為：

根據所述最優相機內參進而所述最優相機旋轉參數，將所有所述待拼接圖像投影到同一平面上進行全景圖融合，得到最終的全景圖。

5.一種基于滑動窗口的圖像拼接裝置，其特征在于，包括

輸入模塊，用于輸入待拼接圖像以及所有所述待拼接圖像之間的匹配內點；

初始化模塊，用于將所有所述待拼接圖像按照時間順序依次添加到捆綁調整器中，并使用預設幀數的滑動窗口對新加入到所述捆綁調整器中的待拼接圖像進行初始化，得到初始化相機參數；其中，所述相機參數包括相機內參和相機旋轉矩陣；

優化模塊，用于以重投影誤差作為目標函數，根據所述匹配內點對所述初始化相機參數進行優化，得到最優目標函數時的最優相機參數；所述優化模塊，具體用于采用預設數量的相機模型和所述滑動窗口的相機總數定義所述滑動窗口的完整狀態向量，根據所述匹配內點計算滑動窗口內的總誤差函數，以重投影誤差作為目標函數，根據所述總誤差函數以及所述完整狀態向量建立所述目標函數，求解所述目標函數得到每一幀待拼接圖像的最優相機參數；其中，所述完整狀態向量包括所有待拼接圖像的相機參數；

拼接模塊，用于根據所述最優相機參數將所有所述待拼接圖像拼接成全景圖。

6.如權利要求5所述的基于滑動窗口的圖像拼接裝置，其特征在于，還包括圖像匹配模塊，用于對原始圖像進行圖像匹配處理，得到所述原始圖像對應的待拼接圖像以及所有所述待拼接圖像之間的匹配內點。