[發(fā)明專利]一種基于實(shí)景數(shù)據(jù)的視頻監(jiān)控智能追蹤方法及其系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202310076813.8
• 申請(qǐng)日: 2023-01-13
• 公開（公告）號(hào): CN116091547A
• 公開（公告）日: 2023-05-09
• 發(fā)明（設(shè)計(jì)）人: 胡榮強(qiáng);尹賓賓;張建偉;齊曉晗;王雅新
• 申請(qǐng)（專利權(quán)）人: 天津飛眼無(wú)人機(jī)科技有限公司
• 主分類號(hào): G06T7/246
• 分類號(hào): G06T7/246;G06V20/17;G06V20/40;G06T17/05;G06T15/00;G06V10/82;G06N3/0464;G06N3/08;H04N7/18;G08G1/017
• 代理公司: 北京沁優(yōu)知識(shí)產(chǎn)權(quán)代理有限公司 11684
• 代理人: 郭娜

1.一種基于實(shí)景數(shù)據(jù)的視頻監(jiān)控智能追蹤方法，其特征在于，該方法包括：

S1、構(gòu)建實(shí)景三維地圖：通過(guò)無(wú)人機(jī)傾斜攝影測(cè)量技術(shù)還原視頻監(jiān)控區(qū)域?qū)嵕叭S地圖；

S2、依據(jù)視頻監(jiān)控點(diǎn)位信息進(jìn)行實(shí)時(shí)視頻流在S1構(gòu)建的三維場(chǎng)景中的立體投影；

S3、利用三維渲染引擎獲取S2中的立體投影的地表渲染視頻幀；

S4、利用yolo3?AI算法捕捉S3中的視頻幀中的追蹤對(duì)象；

S5、標(biāo)定追蹤目標(biāo)；

S6、根據(jù)目標(biāo)在地表渲染視頻幀的相對(duì)坐標(biāo)計(jì)算出絕對(duì)地理坐標(biāo)；

S7、根據(jù)絕對(duì)地理坐標(biāo)在三維地圖生成的目標(biāo)路徑，實(shí)現(xiàn)目標(biāo)追蹤。

2.如權(quán)利要求1所述的一種基于實(shí)景數(shù)據(jù)的視頻監(jiān)控智能追蹤方法，其特征在于，步驟S1中，包括：

S101、無(wú)人機(jī)航攝數(shù)據(jù)獲?。簩?duì)無(wú)人機(jī)及傾斜攝影航攝相機(jī)進(jìn)行選型，以1：500比例尺建模要求進(jìn)行航線設(shè)計(jì)，對(duì)測(cè)區(qū)傾斜攝影影像數(shù)據(jù)進(jìn)行采集；

S102、傾斜攝影數(shù)據(jù)預(yù)處理：對(duì)傾斜攝影影像數(shù)據(jù)進(jìn)行分組整理，去掉無(wú)效影像和POS點(diǎn)位信息；

S103、三維模型生成：預(yù)處理數(shù)據(jù)進(jìn)入實(shí)景三維建模軟件進(jìn)行生產(chǎn)，生成出三維模型成果數(shù)據(jù)。

3.如權(quán)利要求2所述的一種基于實(shí)景數(shù)據(jù)的視頻監(jiān)控智能追蹤方法，其特征在于，步驟S101中，航空影像的地面分辨率要優(yōu)于0.05米，用于制作實(shí)景三維模型成果，其航高與地面分辨率關(guān)系式為：

其中h為相對(duì)飛行高度；f為鏡頭焦距；a為像元尺寸；GSD為地面分辨率。

4.如權(quán)利要求1所述的一種基于實(shí)景數(shù)據(jù)的視頻監(jiān)控智能追蹤方法，其特征在于，步驟S3中，還包括：

S301、視頻流獲?。焊鶕?jù)視頻監(jiān)控設(shè)備類型及網(wǎng)絡(luò)地址，獲取RTSP視頻流地址及監(jiān)控設(shè)備鏡頭詳細(xì)參數(shù)；

S302、依據(jù)監(jiān)控設(shè)備位置信息和監(jiān)控范圍特征點(diǎn)信息，轉(zhuǎn)換監(jiān)控范圍特征點(diǎn)信息到空間坐標(biāo)；

S303、依據(jù)監(jiān)控設(shè)備和特征點(diǎn)空間坐標(biāo)信息在實(shí)景三維中繪制視頻監(jiān)控范圍面，Polygon貼圖設(shè)置為RTSP視頻流；

S304、調(diào)用三維引擎底層OnFrame渲染幀監(jiān)聽方法，獲取當(dāng)前幀圖像。

5.如權(quán)利要求1所述的一種基于實(shí)景數(shù)據(jù)的視頻監(jiān)控智能追蹤方法，其特征在于，步驟S4中，包括有：

S401、數(shù)據(jù)預(yù)處理：生成訓(xùn)練測(cè)試文件，存儲(chǔ)圖片路徑、bbox和類別；

通過(guò)讀取訓(xùn)練測(cè)試文件文件，對(duì)圖片進(jìn)行增強(qiáng)處理；

根據(jù)文件中讀取的bbox生成對(duì)應(yīng)的label,label存儲(chǔ)大中小3種真實(shí)框的中心寬高置信度和類別；

S402、定義網(wǎng)絡(luò)結(jié)構(gòu)：定義為卷積模塊，殘差模塊，合并模塊和上采樣模塊；

S403、利用損失函數(shù)計(jì)算邊界框坐標(biāo)損失,分類損失和置信度損失；

S404、檢測(cè)識(shí)別車輛車牌目標(biāo)生成bounding?box。

6.如權(quán)利要求1所述的一種基于實(shí)景數(shù)據(jù)的視頻監(jiān)控智能追蹤方法，其特征在于，步驟S6中，包括有：

S601、依據(jù)YOLO3識(shí)別出的同一車輛車牌信息，以圖像左上角為原點(diǎn)，計(jì)算車輛bounding?box在圖像中的像素位置信息；

S602、在三維GIS引擎中將車輛像素相對(duì)坐標(biāo)轉(zhuǎn)換到地理坐標(biāo)(lon1,lat1)。

7.如權(quán)利要求1所述的一種基于實(shí)景數(shù)據(jù)的視頻監(jiān)控智能追蹤方法，其特征在于，步驟S7中，包括有：

將連續(xù)視頻流中的車輛地理坐標(biāo)點(diǎn)位創(chuàng)建三維場(chǎng)景中的軌跡線展示在三維視窗中，實(shí)現(xiàn)車輛的實(shí)時(shí)軌跡追蹤。

8.一種基于實(shí)景數(shù)據(jù)的視頻監(jiān)控智能追蹤系統(tǒng)，其特征在于，該系統(tǒng)運(yùn)用權(quán)利要求1-7任一項(xiàng)所述的一種基于實(shí)景數(shù)據(jù)的視頻監(jiān)控智能追蹤方法，完成目標(biāo)追蹤。