[發明專利]多模態協同和融合的目標跟蹤方法、裝置及系統、介質

有效

• 申請號: 202210407340.0
• 申請日: 2022-04-19
• 公開（公告）號: CN114511595B
• 公開（公告）日: 2022-08-23
• 發明（設計）人: 周迪;王威杰;鄧黃燕;卓越;王勛;余浙東;徐愛華
• 申請（專利權）人: 浙江宇視科技有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/292;G06V20/00;G06V40/10;H04N5/232
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 吳曉霞;栗若木

1.一種多模態協同和融合的目標跟蹤方法，其特征在于，包括：

獲取預設區域的廣角圖像；

使用目標檢測模塊在所述預設區域進行目標檢測，確定目標所在的目標區域，其中，所述目標檢測模塊包括以下至少之一：毫米波雷達、廣角攝像頭，按如下方式獲取所述目標區域的長焦圖像：

當檢測到的所述目標沿第一方向的大小與當前調用的長焦攝像頭的視場角沿第一方向的大小的比值小于第一預設閾值，且，所述目標沿第二方向的大小與當前調用的長焦攝像頭的視場角沿第二方向的大小的比值小于第二預設閾值時，獲取一個長焦攝像頭的圖像作為所述目標區域的長焦圖像；當檢測到的所述目標沿第一方向的大小與當前調用的長焦攝像頭的視場角沿第一方向的大小的比值大于等于第一預設閾值時，獲取多個長焦攝像頭的圖像，將所述多個長焦攝像頭的圖像沿第一方向拼接作為所述目標區域的長焦圖像；當檢測到的所述目標沿第二方向的大小與當前調用的長焦攝像頭的視場角沿第二方向的大小的比值大于等于第二預設閾值時，獲取多個長焦攝像頭的圖像，將所述多個長焦攝像頭的圖像沿第二方向拼接作為所述目標區域的長焦圖像，所述第一方向和第二方向其中之一為所述長焦攝像頭的圖像的長度方向，另一為所述長焦攝像頭的圖像的寬度方向；

根據如下方式生成從所述廣角圖像變倍至所述長焦圖像過程中的任一變倍數為x的圖像：根據倍數x、目標圖像在所述廣角圖像中的位置得到第一方向和第二方向均為所述廣角圖像1/x的新畫幅，將所述新畫幅插值x倍生成與所述廣角圖像大小一致的圖像，作為所述廣角圖像變倍x后的變倍圖像；其中，所述目標區域在所述廣角圖像中的圖像稱為目標圖像；確定所述目標區域在所述變倍圖像中的位置和大小；將所述長焦圖像縮放至所述目標區域在所述變倍圖像的大小，得到縮放后的長焦圖像；將所述縮放后的長焦圖像拼接至所述變倍圖像中所述目標區域對應的位置，得到所述變倍數為x的圖像。

2.根據權利要求1所述的多模態協同和融合的目標跟蹤方法，其特征在于，所述根據倍數x、目標圖像在所述廣角圖像中的位置得到第一方向和第二方向均為所述廣角圖像1/x的新畫幅包括：

所述廣角圖像的中心點為第一中心點，所述目標圖像的中心點為第二中心點，獲取所述第一中心點和所述第二中心點的距離D，確定遷移距離d=x*D/N，N為從所述廣角圖像變倍至所述長焦圖像的最大變倍數；根據所述遷移距離d、所述第一中心點和所述第二中心點確定第三中心點，其中，所述第三中心點與所述第一中心點的距離為所述遷移距離d，且所述第三中心點位于所述第一中心點和所述第二中心點構成的線段上；

將所述廣角圖像中以所述第三中心點為中心，第一方向的像素數為h0/x，第二方向的像素數為w0/x的區域作為新畫幅，其中，所述廣角圖像第一方向的像素數為h0，第二方向的像素數為w0。

3.根據權利要求2所述的多模態協同和融合的目標跟蹤方法，其特征在于，所述確定所述目標區域在所述變倍圖像中的位置和大小包括：

所述目標區域在所述變倍圖像中的中心點為第四中心點，所述第四中心點與所述變倍圖像的中心點的距離為d’=(D-d)*x，根據所述第二中心點與所述第一中心點的連線與所述第一方向的夾角，以及所述距離d’，確定所述第四中心點的位置；

將所述長焦圖像縮小至原始大小的x*f0/f1，得到縮放后的長焦圖像，其中，所述f0為所述廣角圖像對應的焦距，所述f1為所述長焦圖像對應的焦距。

4.根據權利要求1所述的多模態協同和融合的目標跟蹤方法，其特征在于，所述多個長焦攝像頭包括第一長焦攝像頭和第二長焦攝像頭，所述第一長焦攝像頭獲取的長焦圖像為第一圖像，所述第二長焦攝像頭獲取的長焦圖像為第二圖像，且從調度第一長焦攝像頭切換至調度第一長焦攝像頭和第二長焦攝像頭，所述獲取多個長焦攝像頭的圖像前，還包括：

獲取調度所述第二長焦攝像頭前，所述廣角圖像中所述目標區域的中心點，以及，所述目標區域沿拼接方向的第一長度，將所述目標區域的中心點沿拼接方向移動所述第一長度的一半，獲得第五中心點；將所述目標區域的中心點沿與拼接方向相反的方向移動所述第一長度的一半，獲得第六中心點；所述拼接方向為所述第一圖像和所述第二圖像拼接的方向；

將所述第五中心點作為所述第一長焦攝像頭的中心點調度所述第一長焦攝像頭，將所述第六中心點作為所述第二長焦攝像頭的中心點調度所述第二長焦攝像頭。