[發(fā)明專利]一種新型類腦視覺系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010868408.6
• 申請日: 2020-08-26
• 公開（公告）號: CN111950720A
• 公開（公告）日: 2020-11-17
• 發(fā)明（設(shè)計(jì)）人: 繆峰;梁世軍;王爽
• 申請（專利權(quán)）人: 南京大學(xué)
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04;G06K9/62;G06K9/00
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 王恒靜

1.一種新型類腦視覺系統(tǒng)，其特征在于，包括視網(wǎng)膜形態(tài)陣列和神經(jīng)網(wǎng)絡(luò)，所述視網(wǎng)膜形態(tài)陣列用于將視覺信息轉(zhuǎn)化成電學(xué)信號，所述神經(jīng)網(wǎng)絡(luò)將輸入的電學(xué)信號進(jìn)行信息處理，得到視覺認(rèn)知結(jié)果。

2.根據(jù)權(quán)利要求1所述的新型類腦視覺系統(tǒng)，其特征在于，所述視網(wǎng)膜形態(tài)陣列和神經(jīng)網(wǎng)絡(luò)之間還設(shè)置有串并轉(zhuǎn)換電路，其用于轉(zhuǎn)換視網(wǎng)膜形態(tài)陣列輸出的電學(xué)信號的維度。

3.根據(jù)權(quán)利要求1或2所述的新型類腦視覺系統(tǒng)，其特征在于，所述視網(wǎng)膜形態(tài)陣列由N×N個柵極獨(dú)立調(diào)控的光電器件平面集成，N²個獨(dú)立的背柵電壓源分別調(diào)控N²個光電器件，每一個光電器件的漏極被施加源漏電壓，其輸出為M個光電器件并聯(lián)之后的源漏電流變化量總和，M≤N²。

4.根據(jù)權(quán)利要求3所述的新型類腦視覺系統(tǒng)，其特征在于，為N²個獨(dú)立的柵極配置具有圖像預(yù)處理功能的卷積核矩陣，所述卷積核矩陣中的數(shù)值對應(yīng)于每個光電器件施加的背柵電壓值，所述圖像預(yù)處理功能包括邊緣增強(qiáng)、降噪、平滑、銳化或簡單特征提取。

5.根據(jù)權(quán)利要求1或2所述的新型類腦視覺系統(tǒng)，其特征在于，所述神經(jīng)網(wǎng)絡(luò)包括阻值可調(diào)的非易失性交叉陣列，所述非易失性交叉陣列的每一條字線和位線的交叉點(diǎn)為一個非易失性存儲器，所述非易失性存儲器的電導(dǎo)值作為神經(jīng)網(wǎng)絡(luò)突觸的權(quán)重值。

6.根據(jù)權(quán)利要求5所述的新型類腦視覺系統(tǒng)，其特征在于，所述非易失性存儲器為憶阻器、磁隨機(jī)存儲器、阻變存儲器、相變存儲器、鐵電存儲器或閃存。

7.根據(jù)權(quán)利要求5所述的新型類腦視覺系統(tǒng)，其特征在于，所述非易失性交叉陣列通過預(yù)先訓(xùn)練得到具有特定推理功能的陣列，所述預(yù)先訓(xùn)練和推理方法為：

當(dāng)輸入到非易失性交叉陣列中的多路電壓信號高于設(shè)定的閾值電壓時(shí)，非易失性存儲器的電導(dǎo)值發(fā)生改變，電導(dǎo)值前后變化的差值代表每次神經(jīng)網(wǎng)絡(luò)訓(xùn)練所更新的突觸權(quán)重值，實(shí)現(xiàn)權(quán)重更新功能，滿足預(yù)先訓(xùn)練的要求；

當(dāng)輸入到非易失性交叉陣列中的多路電壓信號不高于設(shè)定的閾值電壓時(shí)，非易失性存儲器的電導(dǎo)值不會發(fā)生變化，輸出求和的電流信號，實(shí)現(xiàn)點(diǎn)乘運(yùn)算功能，滿足推理的要求。

8.根據(jù)權(quán)利要求7所述的新型類腦視覺系統(tǒng)，其特征在于，所述視覺信息為靜態(tài)視覺信息，靜態(tài)視覺信息由視網(wǎng)膜形態(tài)陣列轉(zhuǎn)化成電學(xué)信號，將轉(zhuǎn)化后的電學(xué)信號輸入到預(yù)先訓(xùn)練后的非易失性交叉陣列中，神經(jīng)網(wǎng)絡(luò)在推理過程中，非易失性存儲器接收來自前神經(jīng)元的輸入，執(zhí)行點(diǎn)乘運(yùn)算并將結(jié)果傳遞給后一層神經(jīng)元。

9.根據(jù)權(quán)利要求7所述的新型類腦視覺系統(tǒng)，其特征在于，所述視覺信息為動態(tài)視覺信息，觀測的動態(tài)目標(biāo)坐標(biāo)信息由視網(wǎng)膜形態(tài)陣列轉(zhuǎn)化成兩個電壓信號，并輸入到預(yù)先訓(xùn)練后的非易失性交叉陣列中，神經(jīng)網(wǎng)絡(luò)在推理過程中，每一個非易失性存儲器接收來自神經(jīng)網(wǎng)絡(luò)中這一時(shí)刻神經(jīng)元的輸入與上一時(shí)刻隱藏層神經(jīng)元的輸入，執(zhí)行點(diǎn)乘運(yùn)算并進(jìn)行這一時(shí)刻神經(jīng)元的輸出。

10.根據(jù)權(quán)利要求1所述的新型類腦視覺系統(tǒng)，其特征在于，視網(wǎng)膜形態(tài)陣列和神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)上采用三維垂直集成。