[發明專利]多傳感器攝像機、用于多傳感器攝像機的方法和處理管道

有效

• 申請號: 201810619113.8
• 申請日: 2018-06-15
• 公開（公告）號: CN109104551B
• 公開（公告）日: 2021-06-25
• 發明（設計）人: T·亨寧松;袁嵩
• 申請（專利權）人: 安訊士有限公司
• 主分類號: H04N5/225
• 分類號: H04N5/225;H04N5/232;H04N5/265
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 康泉;宋志強

本公開提供了多傳感器攝像機、用于多傳感器攝像機的方法和處理管道。提供了一種在包括具有部分重疊視野的第一傳感器和第二傳感器的多傳感器攝像機中執行的方法。第一視頻幀和第二視頻幀各自具有非重疊部分和重疊部分。通過將來自第一和第二視頻幀的非重疊部分的圖像數據與僅來自第一視頻幀的重疊部分的圖像數據結合來生成第一視頻流的幀；生成第二視頻流的幀以包括來自至少第二視頻幀的重疊部分的圖像數據。并行處理第一視頻流的幀和第二視頻流的幀。將重疊添加到第一視頻流中的處理后的幀。在準備重疊的步驟和添加重疊的步驟中的至少一個步驟中，將來自第一視頻幀的重疊部分的圖像數據與來自第二視頻幀的重疊部分的圖像數據融合。

技術領域

本發明涉及多傳感器攝像機領域，并且具體地涉及通過多傳感器攝像機捕獲到的圖像的拼接。

背景技術

包括具有部分重疊視野的多個傳感器的攝像機日益受到監控市場的青睞。通過這樣的攝像機的多個傳感器同時捕獲到的圖像可以被拼接在一起來形成全景圖像，該全景圖像描繪了該多個傳感器的組合視野。優選進行拼接以便提供圖像之間的無縫銜接。

將來自多個傳感器的圖像拼接在一起的處理通常是處理密集的(processingintense)，因此傾向于在攝像機的處理管道(processing pipeline)中引入延遲。最終，這可能會限制攝像機的幀速率，原因在于攝像機的處理管道可能無法足夠快地處理捕獲到的幀。

在市場上可利用的攝像機中發現的這個問題的一個解決方案是在攝像機的處理管道的上游包括現場可編程門陣列(FPGA)，從而在將同時捕獲到的圖像輸入到處理管道之前執行圖像的拼接。然而，這種方案是昂貴的，尤其是在FPGA應當足夠快從而不會引入由圖像拼接引起的不期望的延遲的情況下。而且，這種方案排除了以下情況：攝像機的處理管道中實施的一些圖像處理是在執行拼接之前對單個圖像進行的。在某些情況下，這可能導致在攝像機的處理管道的終端處輸出的最終的拼接圖像的品質較差。因此，存在改進的空間。

發明內容

鑒于以上所述，因此本發明的目的是提供一種用于將通過攝像機的多個傳感器同時捕獲到的圖像拼接在一起的改進過程。具體地，目的是減少在攝像機的處理管道中由拼接圖像的過程造成的延遲。另一目的是提供一種以成本效益的方式實施的拼接過程。

根據本發明的第一方面，上述目的是通過一種在包括具有部分重疊視野的第一傳感器和第二傳感器的多傳感器攝像機中執行的方法實現，該方法包括：

接收分別通過第一傳感器和第二傳感器同時捕獲到的第一視頻幀和第二視頻幀，

其中第一視頻幀和第二視頻幀中的每個具有不與該第一視頻幀和該第二視頻幀中的另一個重疊的非重疊部分、以及與該第一視頻幀和該第二視頻幀中的另一個重疊的重疊部分，

通過將來自第一視頻幀和第二視頻幀的非重疊部分的圖像數據與僅來自第一視頻幀的重疊部分的圖像數據結合在一起，生成第一視頻流的幀，

生成第二視頻流的幀，其中第二視頻流的幀包括來自至少第二視頻幀的重疊部分的圖像數據，

并行處理第一視頻流的幀和第二視頻流的幀，其中第二視頻流的幀的處理包括基于來自至少第二視頻幀的重疊部分的圖像數據來準備重疊(overlay)；以及

在第一視頻流中的處理后的幀的與第一視頻幀的重疊部分相對應的部分處，將重疊添加到該第一視頻流中的處理后的幀，

其中在準備重疊的步驟和添加重疊的步驟中的至少一個步驟中，將來自第一視頻幀的重疊部分的圖像數據與來自第二視頻幀的重疊部分的圖像數據融合。