[發(fā)明專利]一種新型類腦視覺系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010868408.6
• 申請(qǐng)日: 2020-08-26
• 公開（公告）號(hào): CN111950720A
• 公開（公告）日: 2020-11-17
• 發(fā)明（設(shè)計(jì)）人: 繆峰;梁世軍;王爽
• 申請(qǐng)（專利權(quán)）人: 南京大學(xué)
• 主分類號(hào): G06N3/063
• 分類號(hào): G06N3/063;G06N3/04;G06K9/62;G06K9/00
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 王恒靜

本發(fā)明公開了一種新型類腦視覺系統(tǒng)，包括視網(wǎng)膜形態(tài)陣列和神經(jīng)網(wǎng)絡(luò)，所述視網(wǎng)膜形態(tài)陣列用于將視覺信息轉(zhuǎn)化成電學(xué)信號(hào)，所述神經(jīng)網(wǎng)絡(luò)將輸入的電學(xué)信號(hào)進(jìn)行信息處理，得到視覺認(rèn)知結(jié)果；通過視網(wǎng)膜形態(tài)陣列對(duì)視覺信息的感知和同步預(yù)處理，避免了從光感受器端向圖像信息處理器傳輸大量冗余的視覺信息，節(jié)省了帶寬資源，提高了視覺信息處理效率；利用交叉陣列配置結(jié)構(gòu)更復(fù)雜、功能更多樣的神經(jīng)網(wǎng)絡(luò)，通過神經(jīng)網(wǎng)絡(luò)對(duì)視覺信息的更高層次處理，實(shí)現(xiàn)了集圖像識(shí)別，動(dòng)態(tài)追蹤，軌跡預(yù)測(cè)為一體的新型類腦視覺系統(tǒng)。

技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器視覺技術(shù)領(lǐng)域，具體涉及一種基于視網(wǎng)膜形態(tài)陣列和神經(jīng)網(wǎng)絡(luò)的新型類腦視覺系統(tǒng)。

背景技術(shù)

視覺是人與自然界進(jìn)行信息交互最主要的途徑，大約80％的外界信息均是以視覺的形式傳遞給大腦。視網(wǎng)膜及大腦皮層的視覺中樞是形成視覺的主要組成結(jié)構(gòu)。視網(wǎng)膜由垂直層狀分布的感光細(xì)胞、雙極性細(xì)胞等組成，并通過細(xì)胞間的信息流動(dòng)對(duì)視覺信息實(shí)現(xiàn)同步感知和預(yù)處理。具體表現(xiàn)為：視網(wǎng)膜感光細(xì)胞首先將入射的視覺信息轉(zhuǎn)換為電學(xué)信號(hào)，并將電學(xué)信息傳遞至雙極性細(xì)胞；雙極性細(xì)胞自身的正負(fù)光響應(yīng)允許其對(duì)電學(xué)信息進(jìn)行初步的加工處理，并通過視神經(jīng)將處理后的電學(xué)信息傳輸至大腦皮層視覺中樞。通過這種方式，視網(wǎng)膜在一定程度上實(shí)現(xiàn)了感知外界視覺信息，并同步進(jìn)行低級(jí)的視覺信息處理，如對(duì)圖像的邊緣進(jìn)行增強(qiáng)、去除噪聲、對(duì)比度校正等操作。大腦皮層視覺中樞接收來自視網(wǎng)膜處理后的視覺信息，并進(jìn)行高等級(jí)的視覺信息處理，如學(xué)習(xí)和推理。與此同時(shí)，人眼不僅具有視覺信息同時(shí)探測(cè)和信息處理的強(qiáng)大功能，其整體所需要的功耗極低，遠(yuǎn)小于20瓦，這是現(xiàn)有機(jī)器視覺技術(shù)遠(yuǎn)遠(yuǎn)達(dá)不到的。隨著信息技術(shù)的逐步推進(jìn)，構(gòu)建一類與人眼相媲美的，對(duì)視覺信息實(shí)現(xiàn)實(shí)時(shí)處理和低功耗處理的視覺芯片，對(duì)推動(dòng)諸如人機(jī)交互、自動(dòng)駕駛、智能安防等先進(jìn)科技應(yīng)用的發(fā)展尤為重要。

傳統(tǒng)的機(jī)器視覺技術(shù)則主要由彼此分立存在的光感受器和圖像信息處理器(其內(nèi)部包含存儲(chǔ)單元和處理單元)組成。光感受器主要分為電荷耦合器件(CCD)和互補(bǔ)金屬氧化物半導(dǎo)體有源像素傳感器(CMOS active pixel sensor)兩種類型，負(fù)責(zé)將光信號(hào)轉(zhuǎn)化成電信號(hào)，并傳遞給圖像信息處理器或者電腦，負(fù)責(zé)將接收到的電信號(hào)進(jìn)行存儲(chǔ)和運(yùn)算。相較于人類視覺系統(tǒng)，這種分立架構(gòu)的機(jī)器視覺技術(shù)在功能和能耗及延時(shí)上具有明顯的不足之處。首先，光感受器無(wú)差別地為圖像信息處理器傳遞視覺數(shù)據(jù)信息，這導(dǎo)致了圖像信息處理器需要處理大量冗余的視覺數(shù)據(jù)。也正因如此，在處理超大數(shù)據(jù)量的視覺任務(wù)時(shí)，光感受器與圖像信息處理器之間的信息傳輸存在著顯著的帶寬擁堵問題，同時(shí)伴隨著超高延時(shí)和高功耗。再者，傳統(tǒng)數(shù)字電路基于數(shù)字信號(hào)的信息存儲(chǔ)和運(yùn)算方式，決定了在視覺信息傳遞過程中必不可少的數(shù)模/模數(shù)轉(zhuǎn)換過程。因此，隨著物聯(lián)網(wǎng)和人工智能的發(fā)展，機(jī)器視覺領(lǐng)域亟需解決視覺信息數(shù)據(jù)量的指數(shù)式的增長(zhǎng)與傳統(tǒng)視覺信息處理架構(gòu)無(wú)法高效處理高數(shù)據(jù)量視覺任務(wù)之間的矛盾。

基于此，相較于傳統(tǒng)機(jī)器視覺，人類視覺系統(tǒng)始終擁有高效的、并行地、低能耗的視覺信息處理方式。為了滿足未來對(duì)實(shí)時(shí)和低功耗視覺信息處理的迫切發(fā)展需求，研究者迫切需要構(gòu)建新的系統(tǒng)架構(gòu)，從而有望未來能夠研制出在工作性能類似甚至超越人類視覺系統(tǒng)的新型類腦視覺芯片。

發(fā)明內(nèi)容

發(fā)明目的：為了克服現(xiàn)有技術(shù)的不足，本發(fā)明提供一種基于視網(wǎng)膜形態(tài)陣列和神經(jīng)網(wǎng)絡(luò)的新型類腦視覺系統(tǒng)，其解決了現(xiàn)有的機(jī)器視覺系統(tǒng)由于物理架構(gòu)分離導(dǎo)致的高延遲和高功耗問題，從而高效完成諸如圖像識(shí)別、目標(biāo)追蹤、軌跡預(yù)測(cè)等視覺任務(wù)。

技術(shù)方案：一種新型類腦視覺系統(tǒng)，包括視網(wǎng)膜形態(tài)陣列和神經(jīng)網(wǎng)絡(luò)，所述視網(wǎng)膜形態(tài)陣列用于將視覺信息轉(zhuǎn)化成電學(xué)信號(hào)，所述神經(jīng)網(wǎng)絡(luò)將輸入的電學(xué)信號(hào)進(jìn)行信息處理，得到視覺認(rèn)知結(jié)果。

進(jìn)一步的，包括：

所述視網(wǎng)膜形態(tài)陣列和神經(jīng)網(wǎng)絡(luò)之間還設(shè)置有串并轉(zhuǎn)換電路，其用于轉(zhuǎn)換視網(wǎng)膜形態(tài)陣列輸出的電學(xué)信號(hào)的維度。

進(jìn)一步的，包括：