[發明專利]基于關鍵幀的圖像拼接系統及拼接方法

有效

• 申請號: 202010122306.X
• 申請日: 2020-02-27
• 公開（公告）號: CN111340707B
• 公開（公告）日: 2023-07-14
• 發明（設計）人: 張發恩;張德平
• 申請（專利權）人: 創新奇智（重慶）科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06V20/40;G06V10/74
• 代理公司: 深圳珠峰知識產權代理有限公司 44899
• 代理人: 黃偉

1.一種基于關鍵幀的圖像拼接系統，用于對拍照采集的實時圖像進行拼接，其特征在于，包括：

圖像采集模塊，用于跟蹤采集待拼接的圖像并存儲；

關鍵幀圖像獲取模塊，連接所述圖像采集模塊，用于基于所述圖像中的特征點在跟蹤采集的各所述圖像中獲取多張關鍵幀圖像并存儲；

關鍵幀圖像關系建立模塊，連接所述關鍵幀圖像獲取模塊，用于根據所述關鍵幀圖像中的所述特征點，在各所述關鍵幀圖像間建立關鍵幀圖像關系；

關鍵幀圖像位置確認模塊，連接所述關鍵幀圖像關系建立模塊，用于根據所建立的各所述關鍵幀圖像間的所述關鍵幀圖像關系確定各所述關鍵幀圖像的拼接位置排序；

圖像采集跟蹤狀態判斷模塊，連接所述圖像采集模塊，用于基于采集的所述圖像中的所述特征點判斷圖像采集的跟蹤狀態；

圖像再定位模塊，分別連接所述圖像采集模塊、所述關鍵幀圖像獲取模塊和所述圖像采集跟蹤狀態判斷模塊，用于在圖像跟蹤判斷為失敗后，將采集的當前幀圖像與之前采集的各所述關鍵幀圖像進行圖像匹配，得到與所述當前幀圖像相匹配的所述關鍵幀圖像；

所述圖像采集模塊將匹配出的所述關鍵幀圖像對應的拍攝位置作為起始拍攝位置，繼續對所述圖像進行跟蹤采集；

圖像拼接模塊，連接所述關鍵幀圖像位置確認模塊，用于在圖像采集完成后，根據所確定的各所述關鍵幀圖像對應的所述拼接位置排序，對各所述關鍵幀圖像進行拼接，得到圖像拼接結果；

所述圖像再定位模塊中具體包括：

圖像匹配單元，用于在圖像跟蹤失敗后，將采集的所述當前幀圖像與之前采集的各所述關鍵幀圖像進行圖像匹配；

匹配狀態判斷單元，連接所述圖像匹配單元，用于判斷所述當前幀圖像與之前采集的各所述關鍵幀圖像是否匹配成功，

若是，則提示用戶以所匹配到的所述關鍵幀圖像對應的拍攝位置為起點繼續對所述圖像進行跟蹤采集；

若否，則生成一關鍵幀圖像數計算信號并輸出；

可匹配關鍵幀數計算單元，分別連接所述匹配狀態判斷單元和所述關鍵幀圖像獲取模塊，用于根據接收到的所述關鍵幀圖像數計算信號，對剩余可匹配的所述關鍵幀圖像數進行計算；

可匹配關鍵幀數判斷單元，分別連接所述可匹配關鍵幀數計算單元和所述圖像匹配單元，用于根據對剩余可匹配的所述關鍵幀圖像數的計算結果，判斷剩余可匹配的所述關鍵幀圖像數是否大于0，

若是，則生成一圖像繼續匹配信號并輸出；

若否，則終止圖像再跟蹤過程；

所述圖像匹配單元根據接收到的所述圖像繼續匹配信號，繼續對所述當前幀圖像與剩余可匹配的各所述關鍵幀圖像進行圖像匹配，直至完成對所述當前幀圖像與剩余所有可匹配的所述關鍵幀圖像的圖像匹配過程。

2.如權利要求1所述的圖像拼接系統，其特征在于，還包括：

圖像再定位次數設置模塊，連接所述圖像再定位模塊，用于提供給用戶預設對所述圖像進行再次跟蹤采集的再定位次數，所述圖像拼接系統在圖像跟蹤采集過程中，在對所述圖像跟蹤失敗后，將在預設的所述再定位次數范圍內對所述圖像進行重新跟蹤采集。

3.一種基于關鍵幀的圖像拼接方法，通過應用權利要求2的所述圖像拼接系統實現，其特征在于，包括如下步驟：

步驟S1，所述圖像拼接系統跟蹤采集待拼接的所述圖像并存儲；

步驟S2，所述圖像拼接系統基于所述圖像中的所述特征點在跟蹤采集到的各所述圖像中獲取多張所述關鍵幀圖像并存儲；

步驟S3，所述圖像拼接系統根據所述關鍵幀圖像中的所述特征點，在各所述關鍵幀圖像間建立所述關鍵幀圖像關系；

步驟S4，所述圖像拼接系統根據所建立的各所述關鍵幀圖像間的所述關鍵幀圖像關系確定各所述關鍵幀圖像的所述拼接位置排序；

步驟S5，所述圖像拼接系統基于采集的所述圖像中的所述特征點判斷圖像采集的跟蹤狀態；

步驟S6，所述圖像拼接系統在圖像跟蹤失敗后，將采集的所述當前幀圖像與之前采集的各所述關鍵幀圖像進行圖像匹配，得到與所述當前幀圖像相匹配的所述關鍵幀圖像；

步驟S7，所述圖像拼接系統根據所述步驟S6匹配出的所述關鍵幀圖像對應的拍攝位置為起始拍攝位置，并返回所述步驟S1繼續對所述圖像進行跟蹤采集；

步驟S8，所述圖像拼接系統在圖像采集完成后，根據所述步驟S4確定的各關鍵幀圖像對應的所述拼接位置排序，對各所述關鍵幀圖像進行拼接，得到所述圖像拼接結果；

所述步驟S6中具體包括如下步驟：

步驟S61，所述圖像拼接系統在圖像跟蹤失敗后，判斷當前已對所述圖像重新進行跟蹤采集的次數是否小于或等于預設的所述再定位次數，

若是，則進入步驟S62；

若否，則輸出跟蹤失敗結果；

步驟S62，所述圖像拼接系統將采集的所述當前幀圖像與之前采集的各所述關鍵幀圖像進行圖像匹配，得到與所述當前幀圖像相匹配的所述關鍵幀圖像；

所述步驟S62中，所述圖像拼接系統匹配與所述當前幀圖像相匹配的所述關鍵幀圖像的過程具體包括如下步驟：

步驟S621，所述圖像拼接系統將采集的所述當前幀圖像與之前采集的各所述關鍵幀圖像進行圖像匹配；

步驟S622，所述圖像拼接系統判斷所述步驟S621中的所述當前幀圖像與之前采集的各所述關鍵幀圖像是否匹配成功，

若是，則進入所述步驟S7；

若否，則生成一關鍵幀圖像數計算信號并輸出；

步驟S623，所述圖像拼接系統根據接收到的所述關鍵幀圖像數計算信號，對剩余可匹配的所述關鍵幀圖像數進行計算；

步驟S624，所述圖像拼接系統根據對剩余可匹配的所述關鍵幀圖像數的計算結果，判斷剩余可匹配的所述關鍵幀圖像數是否大于0，

若是，則生成一圖像繼續匹配信號并輸出；

若否，則終止圖像再跟蹤過程；

步驟S625，所述圖像拼接系統根據所述步驟S624輸出的所述圖像繼續匹配信號，繼續對所述當前幀圖像與剩余可匹配的各所述關鍵幀圖像進行圖像匹配，直至完成對所述當前幀圖像與剩余所有可匹配的所述關鍵幀圖像的圖像匹配過程。