[發明專利]在圖像序列中選擇裁剪區域的方法、系統及存儲介質

有效

• 申請號: 202110441758.9
• 申請日: 2021-04-23
• 公開（公告）號: CN113572950B
• 公開（公告）日: 2022-12-23
• 發明（設計）人: 約翰·尼斯特倫;袁嵩
• 申請（專利權）人: 安訊士有限公司
• 主分類號: H04N5/232
• 分類號: H04N5/232
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 康泉;宋志強

本發明涉及基于統計的電子圖像穩定。用于在由攝像機(302)捕獲的圖像序列中選擇裁剪區域的方法和裝置，包括計算機程序產品。包括影響攝像機的移動的外部因素的數據的第一外部運動數據(202)與描述攝像機(302)的移動的內部運動數據(204)關聯。在第一時間間隔期間獲得第一外部運動數據(202)和內部運動數據(204)。在第一時間間隔之后的第二時間間隔期間獲得第二外部運動數據(208)。通過基于關聯和第二外部運動數據(208)選擇裁剪區域來穩定在第三時間間隔期間捕獲的圖像序列。裁剪區域相對于在第三時間間隔期間的圖像的視場保持恒定并且尺寸最大化。第三時間間隔在第二時間間隔之后或者與第二時間間隔部分重疊。

背景技術

本發明涉及攝像機，并且更具體地涉及由攝像機捕獲的圖像序列的電子圖像穩定。

用于監控場景的監控攝像機通常被放置在由于不同的原因它們會受到振動的室外(有時室內)的位置。例如，突然的一陣風可能使攝像機抖動，或者附近經過的火車或重型卡車可能產生類似的效果。這些振動有時會使攝像機輸出的視頻模糊不清，使得視頻對于實際目的或多或少是無用的。視頻質量的改進使模糊圖像的問題更加明顯。增加的像素密度、更高的分辨率和更強大的變焦能力不僅使攝像機對振動更加敏感，而且還使觀看者更容易受到影響并易于注意到它們。

一種用于減少振動的技術是使用更堅固的支架或更少暴露的位置來安裝攝像機。另外兩種技術是光學圖像穩定(OIS)和電子圖像穩定(EIS)，這兩種技術都是在攝像機本身而不是其物理環境中實現的。OIS系統通常依靠攝像機中的陀螺儀或加速度計來檢測和測量攝像機的振動，并且然后移動鏡頭或光學傳感器來補償攝像機和鏡頭的抖動，使得光線可以以如同攝像機未振動的方式來照射圖像傳感器。

EIS主要是為視頻攝像機而開發。EIS依靠不同的算法來為攝像機運動建模，然后將其用于校正圖像。可見圖像的邊界之外的像素用作運動的緩沖區，并且然后可以使用這些像素中的信息將電子圖像從一幀到另一幀略微偏移足夠的量，以抵消運動并創建穩定的視頻流。為了在由攝像機捕獲的圖像序列上激活EIS，需要裁剪每個圖像，使得在執行EIS時幀外像素(有時也被稱為黑色像素)不被引入到圖像中。

如果攝像機例如由于風或地面振動而在俯仰(pitch)、偏擺(jaw)或橫搖(roll)方向中的一個或多個方向上移動，則還需要對這種俯仰、偏擺或橫搖移動進行補償。然而，如上所提及，與為了避免引入幀外像素而進行的裁剪相比，這種補償可能導致裁剪圖像的不同的方式。因此，在確定如何裁剪圖像時，需要更好的技術來允許平衡EIS模式和可能的俯仰、偏擺和橫搖移動。當期望裁剪(即裁剪區域)是圖像序列中的圖像的視場的穩定范圍時，這是特別重要的。

發明內容

根據第一方面，本發明涉及一種在計算機系統中用于在由攝像機捕獲的圖像序列中選擇裁剪區域的方法。該方法包括：

·將第一外部運動數據與內部運動數據關聯，其中，在第一時間間隔期間獲得第一外部運動數據和內部運動數據，其中，第一外部運動數據包括影響攝像機的移動的外部因素的數據，并且其中，內部運動數據包括描述攝像機的移動的數據；

·在第一時間間隔之后的第二時間間隔期間獲得第二外部運動數據；以及

·通過基于關聯和第二外部運動數據選擇裁剪區域來穩定在第三時間間隔期間捕獲的圖像序列，第三時間間隔在第二時間間隔之后或與第二時間間隔部分重疊，其中，裁剪區域相對于在第三時間間隔期間由攝像機捕獲的圖像序列中的圖像的視場保持恒定并且尺寸最大化。

總體而言，圖像穩定通過更好地利用每個攝像機的潛力，例如當振動可能影響視頻質量時，通過在變焦鏡頭中保持圖像質量，使整個視頻監控系統更加通用和成本高效。更具體地，本發明為攝像機用戶提供了將諸如風、振動等的外部因素與來自攝像機中的傳感器的內部讀數關聯的方式。了解外部振動如何影響內部傳感器讀數，以及了解響應于某些傳感器讀數需要哪種裁剪，可以在某種意義上預測響應于外部因素需要哪種裁剪，并且搶先做出任何這種調整。