[發(fā)明專利]用于高性能功率高效的可編程圖像處理的架構(gòu)

在審

• 申請?zhí)枺?/td>: 202110291114.6
• 申請日: 2016-04-06
• 公開（公告）號: CN113132558A
• 公開（公告）日: 2021-07-16
• 發(fā)明（設(shè)計）人: 朱秋玲;奧弗爾·莎查姆;阿爾伯特·邁克斯納;杰森·魯珀特·萊德格雷夫;丹尼爾·弗雷德里克·芬舍爾施泰因;戴維·帕特森;尼斯·德賽;唐納德·斯塔克;愛德華·T·張;威廉·R·馬克
• 申請（專利權(quán)）人: 谷歌有限責(zé)任公司
• 主分類號: H04N5/14
• 分類號: H04N5/14;H04N5/378;H04N5/91;G06T1/60;G06T1/20
• 代理公司: 中原信達(dá)知識產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 周亞榮;鄧聰惠

本公開涉及用于高性能功率高效的可編程圖像處理的架構(gòu)。一種裝置，包括圖像處理單元，圖像處理單元包括網(wǎng)絡(luò)。圖像處理單元包括多個蒙板處理器電路，每個蒙板處理器電路包括執(zhí)行單元通道的陣列，該陣列被耦合到二維移位寄存器陣列結(jié)構(gòu)，以通過執(zhí)行程序代碼同時處理多個重疊蒙板。圖像處理單元包括在多個蒙板處理器和網(wǎng)絡(luò)之間對應(yīng)地耦合的多個表片生成器，用于將圖像數(shù)據(jù)的輸入線組解析成圖像數(shù)據(jù)的輸入表片以供蒙板處理器進(jìn)行處理，并且用于根據(jù)從蒙板處理器接收的圖像數(shù)據(jù)的輸出表片形成圖像數(shù)據(jù)的輸出線組。圖像處理單元包括耦合到網(wǎng)絡(luò)的多個線緩沖器單元，以在從產(chǎn)生蒙板處理器到消耗蒙板處理器的方向上傳遞線組，以實(shí)現(xiàn)整體程序流程。

分案說明

本申請屬于申請日為2016年4月6日的中國發(fā)明專利申請201680019775.0的分案申請。

技術(shù)領(lǐng)域

本發(fā)明的領(lǐng)域一般地涉及圖像處理，并且更具體地，涉及用于高性能功率高效的可編程圖像處理的架構(gòu)

背景技術(shù)

圖像處理通常涉及被組織成陣列的像素值的處理。這里，空間上組織的二維陣列捕獲圖像的二維性質(zhì)(附加維度可以包括時間(例如，二維圖像序列)和數(shù)據(jù)類型(例如，顏色))。在通常情況下，由已經(jīng)生成靜止圖像或幀序列以捕獲運(yùn)動圖像的相機(jī)來提供陣列像素值。傳統(tǒng)的圖像處理器通常落在兩個極端中的任一側(cè)。

第一極端將圖像處理認(rèn)為作為在通用處理器或類通用處理器(例如，具有向量指令增強(qiáng)的通用處理器)上執(zhí)行的軟件程序來執(zhí)行。雖然第一極端通常提供高度通用的應(yīng)用軟件開發(fā)平臺，但是其使用更細(xì)粒度的數(shù)據(jù)結(jié)構(gòu)以及相關(guān)的開銷(例如，指令提取和解碼、片上和片外數(shù)據(jù)的處理、推測執(zhí)行)最終導(dǎo)致在程序代碼的執(zhí)行期間每單位數(shù)據(jù)消耗更大量的能量。

第二相對的極端將固定功能硬接線電路應(yīng)用于更大的數(shù)據(jù)塊。使用直接應(yīng)用于定制設(shè)計電路的較大(相對于較細(xì)粒度)的數(shù)據(jù)塊大大降低了每單位數(shù)據(jù)的功耗。然而，使用定制設(shè)計的固定功能電路通常導(dǎo)致處理器能夠執(zhí)行的有限任務(wù)集合。因此，在第二極端下缺乏(與第一極端相關(guān)聯(lián)的)廣泛通用的編程環(huán)境。

提供高度通用的應(yīng)用軟件開發(fā)機(jī)會與每單位數(shù)據(jù)的提高的功效兩者相結(jié)合的技術(shù)平臺仍然是期望但缺失的解決方案。

發(fā)明內(nèi)容

描述了一種裝置。該裝置包括圖像處理單元(IPU)。圖像處理單元包括網(wǎng)絡(luò)。圖像處理單元包括多個蒙板處理器電路，多個蒙板處理器電路中的每一個包括執(zhí)行單元通道的陣列，執(zhí)行單元通道的陣列被耦合到二維移位寄存器陣列結(jié)構(gòu)，以通過執(zhí)行程序代碼來同時處理多個重疊蒙板。圖像處理單元包括在多個蒙板處理器和網(wǎng)絡(luò)之間對應(yīng)耦合的多個表片生成器。表片生成器用于將圖像數(shù)據(jù)的輸入線組解析成圖像數(shù)據(jù)的輸入表片以供蒙板處理器進(jìn)行處理，并且用于根據(jù)從蒙板處理器接收的圖像數(shù)據(jù)的輸出表片形成圖像數(shù)據(jù)的輸出線組。圖像處理單元包括耦合到網(wǎng)絡(luò)的多個線緩沖器單元，以在從產(chǎn)生蒙板處理器到消耗蒙板處理器的方向上傳遞線組，以實(shí)現(xiàn)整體程序流程。

附圖說明

以下描述和附圖用于說明本發(fā)明的實(shí)施例。在附圖中：

圖1示出圖像處理器硬件架構(gòu)的實(shí)施例；

圖2a、2b、2c、2d和2e圖示將圖像數(shù)據(jù)解析成線組、將線組解析成表片、以及在具有重疊蒙板的表片上執(zhí)行的操作；

圖3a示出蒙板處理器的實(shí)施例；

圖3b示出蒙板處理器的指令字的實(shí)施例；

圖4示出蒙板處理器內(nèi)的數(shù)據(jù)計算單元的實(shí)施例；

圖5a、5b、5c、5d、5e、5f、5g、5h、5i、5j和5k圖示使用二維移位陣列和執(zhí)行通道陣列來利用重疊蒙板確定一對相鄰輸出像素值的示例；

圖6示出用于集成執(zhí)行通道陣列和二維移位陣列的單元單體的實(shí)施例；