[發(fā)明專利]自適應(yīng)高分辨率低功耗視覺系統(tǒng)與方法

在審

• 申請?zhí)枺?/td>: 202010638226.X
• 申請日: 2020-07-04
• 公開（公告）號: CN113891036A
• 公開（公告）日: 2022-01-04
• 發(fā)明（設(shè)計）人: 不公告發(fā)明人
• 申請（專利權(quán)）人: 杭州凝眸智能科技有限公司
• 主分類號: H04N7/18
• 分類號: H04N7/18;H04N7/15;H04N5/232
• 代理公司: 上海交達(dá)專利事務(wù)所 31201
• 代理人: 王毓理;王錫麟

一種自適應(yīng)高分辨率低功耗視覺系統(tǒng)與方法，該系統(tǒng)包括：與顯示單元相連的反饋單元以及設(shè)置于圖像采集設(shè)備內(nèi)的AI芯片，其中：反饋單元通過網(wǎng)絡(luò)與圖像采集設(shè)備相連并輸出包含分辨率調(diào)整請求和/或ROI的反饋請求至AI芯片，AI芯片根據(jù)反饋請求對來自自適應(yīng)高分辨率圖像進(jìn)行視頻構(gòu)造并輸出壓縮后的數(shù)據(jù)至本地存儲器和/或本地顯示器。在保證數(shù)據(jù)存儲、處理和網(wǎng)絡(luò)共享的合理數(shù)據(jù)量的同時，有效地提取出詳細(xì)而有用的信息的同時節(jié)省存儲空間，提高數(shù)據(jù)傳輸速度，降低運(yùn)行功耗，可應(yīng)用于但不限于監(jiān)控/安全、媒體、遠(yuǎn)程會議、遠(yuǎn)程通信、互聯(lián)網(wǎng)廣播、交通和道路監(jiān)控、體育和娛樂、AR/VR等領(lǐng)域。

技術(shù)領(lǐng)域

本發(fā)明涉及的是一種圖像處理領(lǐng)域的技術(shù)，具體是一種自適應(yīng)提高分辨率，降低網(wǎng)絡(luò)帶寬和功耗的視覺系統(tǒng)與方法，可以大于10x提高數(shù)據(jù)效率。

背景技術(shù)

多年來，CMOS/CCD成像技術(shù)取得很高的分辨率，能夠在復(fù)雜的場景中放大細(xì)節(jié)。然而，該樣的高分辨率成像會產(chǎn)生大量的數(shù)據(jù)，需要相應(yīng)的存儲空間、數(shù)據(jù)處理能力和帶寬來記錄和傳輸這些信息，而且這一過程會消耗能量。由于生成的圖像越來越多地被用于提取圖像中包含的信息而不是圖像本身，特別是在視頻應(yīng)用中，圖像數(shù)據(jù)的很大一部分是冗余的和不必要的。另一方面，雖然高分辨率成像是許多應(yīng)用的首選或要求，但由于上述硬件設(shè)施的限制，在現(xiàn)實中是不可能的。

從另一個角度看這個問題，傳統(tǒng)的圖像分辨率提高的動機(jī)是為人眼提供清晰、動人的圖像供人眼接受。在不斷收集和傳輸大量數(shù)據(jù)的情況下，有必要重新考慮面向信息的應(yīng)用程序。在采取進(jìn)一步行動之前，有必要過濾/調(diào)整收集到的高分辨率圖像。

發(fā)明內(nèi)容

本發(fā)明針對現(xiàn)有技術(shù)存在的上述不足，提出一種自適應(yīng)高分辨率低功耗視覺系統(tǒng)與方法，在保證數(shù)據(jù)存儲、處理和網(wǎng)絡(luò)共享的合理數(shù)據(jù)量的同時，有效地提取出詳細(xì)而有用的信息的同時節(jié)省存儲空間，提高數(shù)據(jù)傳輸速度，降低運(yùn)行功耗，可應(yīng)用于但不限于監(jiān)控/安全、媒體、遠(yuǎn)程會議、遠(yuǎn)程通信、互聯(lián)網(wǎng)廣播、交通和道路監(jiān)控、體育和娛樂、AR/VR等領(lǐng)域。

本發(fā)明是通過以下技術(shù)方案實現(xiàn)的：

本發(fā)明涉及一種自適應(yīng)高分辨率低功耗視覺系統(tǒng)，包括：與顯示單元相連的反饋單元以及設(shè)置于圖像采集設(shè)備內(nèi)的AI芯片，其中：反饋單元通過網(wǎng)絡(luò)與圖像采集設(shè)備相連并輸出包含分辨率調(diào)整請求和/或ROI的反饋請求至AI芯片，AI芯片根據(jù)反饋請求對來自自適應(yīng)高分辨率圖像進(jìn)行視頻構(gòu)造并輸出壓縮后的數(shù)據(jù)至本地存儲器和/或本地顯示器。

所述的AI芯片根據(jù)具體應(yīng)用以及圖像不同區(qū)域的數(shù)據(jù)含量密度對圖像采集設(shè)備輸出圖像動態(tài)設(shè)定解析度。

所述的圖像采集設(shè)備內(nèi)進(jìn)一步設(shè)有與AI芯片和圖像采集設(shè)備的光學(xué)傳感單元相連的AI橋接芯片。

所述的反饋請求包括：在至少一幀中跟蹤該感興趣區(qū)域的位置、根據(jù)得到的若干幀的感興趣區(qū)域的位置生成感興趣區(qū)域的合并位置、每個感興趣區(qū)域多個合并位置相應(yīng)的統(tǒng)計數(shù)據(jù)的計算請求；以及根據(jù)每個感興趣區(qū)域多個合并位置及其統(tǒng)計數(shù)據(jù)得到感興趣區(qū)域的最終位置。

所述的統(tǒng)計數(shù)據(jù)包括：探測到感興趣區(qū)域的幀圖像數(shù)據(jù)的幀數(shù)和/或探測到感興趣區(qū)域的幀圖像數(shù)據(jù)的幀數(shù)百分比。

所述的AI芯片對分辨率降低的幀圖像數(shù)據(jù)進(jìn)行基于人工智能(AI)的圖像識別以確定至少一個感興趣區(qū)域(ROI)及其對應(yīng)的優(yōu)先級。

所述的AI橋接芯片包括：第一分辨率修改單元、第二分辨率修改單元和數(shù)據(jù)組合單元，其中：第一分辨率修改單元從圖像采集設(shè)備的視覺傳感器接收第一分辨率的幀圖像數(shù)據(jù)并將該幀圖像數(shù)據(jù)的分辨率降低至第二分辨率，第二分辨率修改單元通過ROI提取幀圖像數(shù)據(jù)中的對應(yīng)局部圖像數(shù)據(jù)并基于每個ROI的對應(yīng)優(yōu)先級修改相應(yīng)的局部圖像數(shù)據(jù)的分辨率，數(shù)據(jù)組合單元將分辨率修改后的局部圖像數(shù)據(jù)與第二分辨率下的幀圖像數(shù)據(jù)合并生成輸出幀的圖像數(shù)據(jù)。