[發明專利]多模態協同和融合的目標跟蹤方法、裝置及系統、介質

有效

• 申請號: 202210407340.0
• 申請日: 2022-04-19
• 公開（公告）號: CN114511595B
• 公開（公告）日: 2022-08-23
• 發明（設計）人: 周迪;王威杰;鄧黃燕;卓越;王勛;余浙東;徐愛華
• 申請（專利權）人: 浙江宇視科技有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/292;G06V20/00;G06V40/10;H04N5/232
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 吳曉霞;栗若木

多模態協同和融合的目標跟蹤方法、裝置及系統、存儲介質，所述多模態協同和融合的目標跟蹤方法包括：獲取預設區域的廣角圖像；在預設區域進行目標檢測，確定目標所在的目標區域，獲取所述目標區域的長焦圖像；根據如下方式生成從所述廣角圖像變倍至所述長焦圖像過程中的任一變倍數為x的圖像：獲取所述廣角圖像變倍x后的變倍圖像；確定所述目標區域在變倍圖像中的位置和大小；將長焦圖像縮放至所述目標區域在變倍圖像的大小，得到縮放后的長焦圖像；將所述縮放后的長焦圖像拼接至所述變倍圖像中所述目標區域對應的位置，得到所述變倍數為x的圖像。本實施例提供的方案，無需光學變倍系統，變倍響應速度快，沒有機械磨損，且成本低，便于小型化。

技術領域

本文涉及監控技術，尤指一種多模態協同和融合的目標跟蹤方法、裝置及系統、存儲介質。

背景技術

在安防監控項目落地應用中，客戶普遍存在一種監控需求：既要求全景綜觀大局，又同時需要對全景內感興趣的人或車查看局部的高清細節。

當前支持光學變倍的雙目相機是滿足上述需求較為普遍的一種實現方式。雙目相機的第一路碼流由定焦廣角攝像頭負責采集全景，第二路碼流由支持光學變倍的PTZ(Pan/Tilt/Zoom 全方位移動及鏡頭變倍、變焦控制)球機實現。

由于相機光學變倍變焦通過電機機械控制，在頻繁使用場景下鏡頭存在壽命問題。另外，相機存在光學變倍鏡頭和電機控制模塊，故存在成本高和小型化難的問題，這影響了此類相機的應用和普及。

發明內容

本申請實施例提供了一種多模態協同和融合的目標跟蹤方法、裝置及系統、存儲介質，可以提高響應速度，降低成本。

本申請實施例提供了一種多模態協同和融合的目標跟蹤方法，包括：

獲取預設區域的廣角圖像；

使用目標檢測模塊在所述預設區域進行目標檢測，確定目標所在的目標區域，其中，所述目標檢測模塊包括以下至少之一：毫米波雷達、廣角攝像頭，按如下方式獲取所述目標區域的長焦圖像：

當檢測到的所述目標沿第一方向的大小與當前調用的長焦攝像頭的視場角沿第一方向的大小的比值小于第一預設閾值，且，所述目標沿第二方向的大小與當前調用的長焦攝像頭的視場角沿第二方向的大小的比值小于第二預設閾值時，獲取一個長焦攝像頭的圖像作為所述目標區域的長焦圖像；當檢測到的所述目標沿第一方向的大小與當前調用的長焦攝像頭的視場角沿第一方向的大小的比值大于等于第一預設閾值時，獲取多個長焦攝像頭的圖像，將所述多個長焦攝像頭的圖像沿第一方向拼接作為所述目標區域的長焦圖像；當檢測到的所述目標沿第二方向的大小與當前調用的長焦攝像頭的視場角沿第二方向的大小的比值大于等于第二預設閾值時，獲取多個長焦攝像頭的圖像，將所述多個長焦攝像頭的圖像沿第二方向拼接作為所述目標區域的長焦圖像，所述第一方向和第二方向其中之一為所述長焦攝像頭的圖像的長度方向，另一為所述長焦攝像頭的圖像的寬度方向；

根據如下方式生成從所述廣角圖像變倍至所述長焦圖像過程中的任一變倍數為x的圖像：獲取所述廣角圖像變倍x后的變倍圖像；確定所述目標區域在所述變倍圖像中的位置和大小；將所述長焦圖像縮放至所述目標區域在所述變倍圖像的大小，得到縮放后的長焦圖像；將所述縮放后的長焦圖像拼接至所述變倍圖像中所述目標區域對應的位置，得到所述變倍數為x的圖像。

在一示例性實施例中，所述獲取所述廣角圖像變倍x后的變倍圖像包括：

所述目標區域在所述廣角圖像中的圖像稱為目標圖像；所述廣角圖像的中心點為第一中心點，所述目標圖像的中心點為第二中心點，獲取所述第一中心點和所述第二中心點的距離D，確定遷移距離d=x*D/N，N為從所述廣角圖像變倍至所述長焦圖像的最大變倍數；根據所述遷移距離d、所述第一中心點和所述第二中心點確定第三中心點，其中，所述第三中心點與所述第一中心點的距離為所述遷移距離d，且所述第三中心點位于所述第一中心點和所述第二中心點構成的線段上；