[發(fā)明專利]用于自監(jiān)督事件學(xué)習(xí)與異常檢測的神經(jīng)架構(gòu)

在審

• 申請?zhí)枺?/td>: 202010568819.3
• 申請日: 2020-06-19
• 公開（公告）號: CN112149795A
• 公開（公告）日: 2020-12-29
• 發(fā)明（設(shè)計(jì)）人: M·納法德;黃婷婷;王碩;楊曉東;劉洺堉
• 申請（專利權(quán)）人: 輝達(dá)公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06N3/08;G06K9/00;G06K9/62
• 代理公司: 北京市磐華律師事務(wù)所 11336
• 代理人: 高偉

1.一種處理器，包括：

一個(gè)或更多個(gè)算術(shù)邏輯單元(ALU)，用于：

使用至少一個(gè)神經(jīng)網(wǎng)絡(luò)從圖像序列中的各個(gè)圖像推斷內(nèi)容；以及

使用所述至少一個(gè)神經(jīng)網(wǎng)絡(luò)來推斷所述圖像序列中所述內(nèi)容的變化。

2.根據(jù)權(quán)利要求1所述的處理器，其中所述一個(gè)或更多個(gè)ALU用于：

使用概率模型來確定所述圖像序列中的異常事件，以響應(yīng)于獲取與所述圖像序列中的所述內(nèi)容中的所述變化相關(guān)聯(lián)的信息以及獲取與來自重構(gòu)所述圖像序列的誤差相關(guān)聯(lián)的信息。

3.根據(jù)權(quán)利要求1所述的處理器，其中所述一個(gè)或更多個(gè)ALU用于訓(xùn)練所述至少一個(gè)神經(jīng)網(wǎng)絡(luò)的第一組成部分，其中所述第一組成部分是具有映射所述圖像序列以在特征空間中生成一個(gè)或更多個(gè)潛在表示的內(nèi)部層的自動(dòng)編碼器。

4.根據(jù)權(quán)利要求3所述的處理器，其中所述自動(dòng)編碼器是卷積自動(dòng)編碼器。

5.根據(jù)權(quán)利要求3所述的處理器，其中所述一個(gè)或更多個(gè)ALU用于訓(xùn)練所述至少一個(gè)神經(jīng)網(wǎng)絡(luò)的第二組成部分，其中所述第二組成部分是從所述第一組成部分接收所述一個(gè)或更多個(gè)潛在表示以推斷所述圖像序列在一段時(shí)間內(nèi)的變化的長短期記憶(LSTM)。

6.根據(jù)權(quán)利要求1所述的處理器，其中來自所述圖像序列中的各個(gè)圖像的內(nèi)容包括空間信息。

7.根據(jù)權(quán)利要求1所述的處理器，其中所述圖像序列中的所述內(nèi)容中的變化包括時(shí)間信息。

8.根據(jù)權(quán)利要求1所述的處理器，其中所述一個(gè)或更多個(gè)ALU用于從至少一個(gè)或更多個(gè)靜止攝像機(jī)接收所述圖像序列，其中所述一個(gè)或更多個(gè)靜止攝像機(jī)提供未重構(gòu)的用于異常事件檢測的所述圖像序列。

9.一種系統(tǒng)，包括：

一個(gè)或更多個(gè)計(jì)算機(jī)，具有一個(gè)或更多個(gè)處理器，用于訓(xùn)練一個(gè)或更多個(gè)神經(jīng)網(wǎng)絡(luò)，以從圖像序列中的各個(gè)圖像推斷內(nèi)容，以及推斷在所述圖像序列中的所述內(nèi)容中的變化。

10.根據(jù)權(quán)利要求9所述的系統(tǒng)，其中所述一個(gè)或更多個(gè)處理器用于訓(xùn)練所述一個(gè)或更多個(gè)神經(jīng)網(wǎng)絡(luò)，以：

將所述圖像序列輸入到所述一個(gè)或更多個(gè)神經(jīng)網(wǎng)絡(luò)中的第一神經(jīng)網(wǎng)絡(luò)，以從所述圖像序列的各個(gè)圖像生成表示內(nèi)容的第一組信息；

將所述第一組信息輸入到所述一個(gè)或更多個(gè)神經(jīng)網(wǎng)絡(luò)中的第二神經(jīng)網(wǎng)絡(luò)，以生成與所述圖像序列中的所述內(nèi)容中的變化相關(guān)聯(lián)的第二組信息；

使用所述第一組信息再現(xiàn)所述圖像序列；以及

至少部分地基于接收與再現(xiàn)的圖像序列相關(guān)聯(lián)的誤差測量和所述第二組信息，使用概率模型來生成第三組信息。

11.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中所述第一神經(jīng)網(wǎng)絡(luò)是將所述圖像序列作為輸入來生成所述第一組信息的卷積自動(dòng)編碼器。

12.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中所述卷積自動(dòng)編碼器映射所述圖像序列的特征以在縮小的特征空間中生成所述第一組信息，從所述縮小的特征空間中的所述第一組信息能夠近似地再現(xiàn)所述圖像序列。

13.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中所述第二神經(jīng)網(wǎng)絡(luò)是以所述第一組信息作為輸入的長短期記憶(LSTM)。

14.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中所述一個(gè)或更多個(gè)處理器用于訓(xùn)練所述一個(gè)或更多個(gè)神經(jīng)網(wǎng)絡(luò)，以從一個(gè)或更多個(gè)靜態(tài)攝像機(jī)獲取所述圖像序列以檢測所述圖像序列中的異常事件。

15.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中所述第三組信息包括所述圖像序列中異常事件的至少一個(gè)指示符。

16.根據(jù)權(quán)利要求10所述的系統(tǒng)，其中所述概率模型預(yù)先在訓(xùn)練圖像集合上訓(xùn)練。