[發(fā)明專利]一種基于遠(yuǎn)距離無損視頻傳輸?shù)膰a(chǎn)視覺計(jì)算系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010031378.3
• 申請日: 2020-01-13
• 公開（公告）號(hào): CN111260553A
• 公開（公告）日: 2020-06-09
• 發(fā)明（設(shè)計(jì)）人: 李思照;孫建國;王春艷;賀子天;鞏建光
• 申請（專利權(quán)）人: 哈爾濱工程大學(xué)
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06T7/246
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明屬于視覺計(jì)算系統(tǒng)技術(shù)領(lǐng)域，具體涉及一種基于遠(yuǎn)距離無損視頻傳輸?shù)膰a(chǎn)視覺計(jì)算系統(tǒng)。本發(fā)明將國產(chǎn)處理器作為基本計(jì)算單元，實(shí)現(xiàn)并行計(jì)算處理，同時(shí)可實(shí)現(xiàn)并行計(jì)算和指令流的編程，支持分布式異構(gòu)計(jì)算系統(tǒng)的功能按需靈活配置與資源規(guī)模擴(kuò)展。支持視覺計(jì)算資源的動(dòng)態(tài)配置。通過優(yōu)化配置細(xì)粒度不同的并行計(jì)算模塊，同時(shí)優(yōu)化分布式異構(gòu)計(jì)算系統(tǒng)的資源利用率和運(yùn)行能耗，突破多模態(tài)視頻融合與顯示處理的速度和效能瓶頸，實(shí)現(xiàn)實(shí)時(shí)性需求情況下視覺計(jì)算規(guī)模的壓縮優(yōu)化，保證國產(chǎn)處理器處于低功耗高效運(yùn)行。本發(fā)明將輸入的視頻經(jīng)過視覺計(jì)算后，以目標(biāo)識(shí)別后的視頻作為輸出，具備高效能計(jì)算、多模態(tài)圖形圖像處理、架構(gòu)動(dòng)態(tài)可重配置等能力。

技術(shù)領(lǐng)域

本發(fā)明屬于視覺計(jì)算系統(tǒng)技術(shù)領(lǐng)域，具體涉及一種基于遠(yuǎn)距離無損視頻傳輸?shù)膰a(chǎn)視覺計(jì)算系統(tǒng)。

背景技術(shù)

視覺計(jì)算主要涉及圖像增強(qiáng)、圖像拼接、三維表面重構(gòu)、紋理映射以及目標(biāo)識(shí)別與跟蹤等關(guān)鍵技術(shù)。動(dòng)態(tài)可重配置計(jì)算是指利用現(xiàn)場可編程門陣列、軟件可定義等技術(shù)，動(dòng)態(tài)改變計(jì)算機(jī)系統(tǒng)的硬件和軟件功能，在有限的計(jì)算資源和功耗的情況下靈活地實(shí)現(xiàn)多樣化嵌入式計(jì)算處理功能，顯著提升計(jì)算機(jī)系統(tǒng)的靈活性、可擴(kuò)展性和可重用性。根據(jù)可重配置部分的大小可分為全局動(dòng)態(tài)可重配置和局部動(dòng)態(tài)可重配置。

基于幀間融合的增強(qiáng)是在低質(zhì)量視頻中融合不同時(shí)期視頻的亮度信息，這種方法主要是提取高質(zhì)量背景信息并嵌入到低質(zhì)量視頻中。在圖像處理過程中，主要有兩類傳統(tǒng)的增強(qiáng)圖像技術(shù)：頻率域法和空間域法。空間域法引用圖像本身，這類圖像處理方法直接對圖像像素進(jìn)行操作。頻率域處理技術(shù)基于修改通過轉(zhuǎn)換獲得的圖像的空間頻譜。常用的圖像拼接方法有基于視頻序列的拼接方法和針對運(yùn)動(dòng)場景的圖像拼接模型等等。輸入高程三維點(diǎn)云數(shù)據(jù)，三維構(gòu)網(wǎng)算法計(jì)算得到一個(gè)曲面來盡可能擬合輸入的三維點(diǎn)云，而這樣的曲面一般表示為離散化的網(wǎng)格以便于存儲(chǔ)和后續(xù)的處理。三維構(gòu)網(wǎng)算法可以分為兩類：插值方法和近似方法。基于三維點(diǎn)云特征的三維目標(biāo)識(shí)別過程首先需將深度傳感器獲取的深度圖利用小孔成像原理轉(zhuǎn)化為空間三維點(diǎn)云，再從三維點(diǎn)云中提取三維特征描述子，最后利用這些三維特征實(shí)現(xiàn)目標(biāo)識(shí)別。

近年來以卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)的出現(xiàn)，推動(dòng)了包括目標(biāo)識(shí)別與跟蹤在內(nèi)的各類計(jì)算機(jī)視覺領(lǐng)域的進(jìn)步，其無需手工設(shè)計(jì)特征，利用在大數(shù)據(jù)中訓(xùn)練得到的更為魯棒的特征取得了遠(yuǎn)超傳統(tǒng)算法的性能。本發(fā)明擬采用基于先驗(yàn)框與多尺度深度特征的目標(biāo)檢測算法以及基于雙通道卷積網(wǎng)絡(luò)的目標(biāo)跟蹤算法，實(shí)現(xiàn)在復(fù)雜戰(zhàn)場環(huán)境下的實(shí)時(shí)高精度目標(biāo)檢測與跟蹤。目標(biāo)識(shí)別技術(shù)主要包括基于先驗(yàn)框與多尺度深度特征的目標(biāo)檢測算法和基于雙通道卷積網(wǎng)絡(luò)的目標(biāo)跟蹤算法等。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供采用基于先驗(yàn)框與多尺度深度特征的目標(biāo)檢測算法以及基于雙通道卷積網(wǎng)絡(luò)的目標(biāo)跟蹤算法，實(shí)現(xiàn)在復(fù)雜戰(zhàn)場環(huán)境下的實(shí)時(shí)高精度目標(biāo)檢測與跟蹤的一種基于遠(yuǎn)距離無損視頻傳輸?shù)膰a(chǎn)視覺計(jì)算系統(tǒng)。

本發(fā)明的目的通過如下技術(shù)方案來實(shí)現(xiàn)：包括顯示設(shè)備、管理單元、異構(gòu)計(jì)算單元和存儲(chǔ)單元；所述的管理單元包括異構(gòu)計(jì)算單元管理部件、存儲(chǔ)介質(zhì)管理部件和視頻總線管理部件，各管理部件之間通過管理總線連接；所述的存儲(chǔ)單元通過視頻傳輸總線將輸入的視頻傳遞給異構(gòu)計(jì)算單元；所述的異構(gòu)計(jì)算單元經(jīng)過視覺計(jì)算后得到目標(biāo)識(shí)別后的視頻，并通過視頻傳輸總線傳遞給顯示設(shè)備；所述的顯示設(shè)備輸出目標(biāo)識(shí)別后的視頻；所述的視頻傳輸總線采用容器作為傳輸視頻流信息的基本單元，將一段視頻流轉(zhuǎn)化為由一系列的容器組成，每個(gè)容器對應(yīng)一幅圖像幀信息，包括容器頭和一組對象，容器頭描述了數(shù)據(jù)在容器中的位置及對象的類型；所述的容器的操作方式有簡單模式和擴(kuò)展幀頭模式；在簡單模式中，容器中包含4個(gè)基本對象；在擴(kuò)展幀頭模式中，容器中最多可攜帶16個(gè)對象；所述的容器頭由22個(gè)單元組成，每個(gè)單元為4個(gè)32bit的FC傳輸字；所述的容器頭的前6個(gè)單元為容器信息塊CIB，包括容器計(jì)數(shù)、視頻標(biāo)識(shí)、容器時(shí)標(biāo)、傳輸類型、容器類型等信息，作用于整個(gè)容器系統(tǒng)；所述的容器頭的后16個(gè)單元中每4個(gè)單元一組為對象信息塊，當(dāng)視頻采用逐行掃描模式時(shí)只用對象2承載視頻數(shù)據(jù)，在隔行掃描模式中對象2封裝奇數(shù)行數(shù)據(jù)，對象3封裝偶數(shù)行數(shù)據(jù)。