[發明專利]校準相機的方法

在審

• 申請號: 202180032395.1
• 申請日: 2021-04-23
• 公開（公告）號: CN115485727A
• 公開（公告）日: 2022-12-16
• 發明（設計）人: C·韋雷坎普;B·克龍
• 申請（專利權）人: 皇家飛利浦有限公司
• 主分類號: G06T7/80
• 分類號: G06T7/80
• 代理公司: 永新專利商標代理有限公司 72002
• 代理人: 孟杰雄

一種用于校準為了場景捕獲而定位的編隊中的所有或部分相機的六個自由度中的至少一個自由度的方法，所述方法包括在所述場景捕獲之前的初始校準的步驟。所述步驟包括創建參考視頻幀，所述參考視頻幀包括靜止參考對象的參考圖像。在場景捕獲期間，所述方法還包括：進一步校準的步驟，其中，將捕獲的場景視頻幀內的所述靜止參考對象的所述參考圖像的位置與在所述參考視頻幀內的所述靜止參考對象的所述參考圖像的位置進行比較；以及在需要的情況下調整所述編隊的多個相機的所述六個自由度中的所述至少一個自由度以便在所述進一步校準之后獲得改進的場景捕獲的步驟。

技術領域

本發明涉及用于校準為了場景捕獲而定位的編隊中的所有或部分相機的六個自由度中的至少一個自由度的方法，所述方法包括在場景捕獲之前的初始校準的步驟，其中，所述步驟包括創建參考視頻幀，所述參考視頻幀包括靜止參考對象的參考圖像，并且

其中，在場景捕獲期間，所述方法還包括：

進一步校準的步驟，其中，將在捕獲的場景視頻幀內的靜止參考對象的參考圖像的位置與在參考視頻幀內的靜止參考對象的參考圖像的位置進行比較，以及

調整編隊的多個相機的六個自由度中的至少一個自由度以便在進一步校準之后獲得改進的場景捕獲的步驟。

在本專利申請中，術語六個自由度涉及相機位置的三個可能的平移移動和三個可能的旋轉移動。要強調的是，在本專利申請中，相機的自由度不僅旨在覆蓋相機的物理平移或旋轉移動，而且旨在覆蓋相機的虛擬平移或旋轉移動，由此相機沒有平移或旋轉，但是代替對由相機生成的圖像執行了類似的動作(具有類似的結果)。因此，在相機的虛擬(電子、數字)控制的情況下，對相機的六個自由度的調整實際上是對三個可能的相機位置參數中的一個或多個和/或三個可能的旋轉參數中的一個或多個的調整。由給定相機采集的圖像能夠例如被空間變換，使得其對應于與物理相機相比略微旋轉的虛擬相機。鑒于虛擬視圖合成和保持相機校準，這個概念也是相關的。也不排除物理移動與虛擬移動的組合，例如物理平移移動和虛擬旋轉移動。

本發明還涉及與上述校準方法有關的相機的編隊和計算機程序。

背景技術

在現有技術中，相機的編隊是已知的，例如在其上安裝了8個相機的裝備。這能夠在各種應用中使用，例如在虛擬和/或增強現實記錄系統(通常被表示為VR/AR應用)中使用。這種VR/AR設備可以是固定放置的或者可以是(手持)便攜式的。這種設備上的相機通常在工廠(或實驗室)中關于某些參數(例如，鏡頭的焦距)進行預校準。這些參數此后通常是固定的，并且不再需要由VR/AR設備的用戶校準。然而，在實際使用之前，用戶通常必須執行與實際場景設置相關的初始校準。因此，如果需要的話，調整相機的六個自由度中的一個或多個自由度。此后，VR/AR設備準備好開始場景記錄。最重要的是，在記錄期間，任何自由度僅在期望時改變，因此當相機例如旋轉到場景的另一部分時。因此，在記錄期間，相機的平移或旋轉移動可能不會(顯著地)受到干擾，因為否則準確的VR/AR記錄然后可能會被惱人的偽影所抑制。通常，裝備是相對小的，其中，相機數量相對較少，并且在大多數情況下，記錄是在房屋或建筑物等內部進行的，并且因此可以針對更大的部分避免干擾。然而，特別是在便攜式設備中，這種干擾的機會更高。當然，在設備位于室外并且因此會經受經過的卡車或風等引起的振動的情況下，這個問題會變得更大。在需要相機的大編隊的情況下，例如在像例如足球場那樣的體育場中，這個問題變得更加棘手。這是因為相機之間的距離通常會更大，并且相機通常不再通過剛性結構進行物理連接。例如，對于小型相機裝置(小型3D環視效果)，相機可以以例如5cm的間距固定安裝在30mm×8mm厚的鋁條上。然而，這在室外通常是不可能的，并且相機可能安裝在機械性能未知的現有基礎設施上，相距幾米。這是因為相機位置或方向的非常小的偏差然后已經可以給出明顯的偽影。

發明內容

本發明的目的是克服或至少減小在場景記錄期間相機的干擾的影響。