[發(fā)明專利]用于自監(jiān)督事件學(xué)習(xí)與異常檢測的神經(jīng)架構(gòu)

在審

• 申請?zhí)枺?/td>: 202010568819.3
• 申請日: 2020-06-19
• 公開（公告）號: CN112149795A
• 公開（公告）日: 2020-12-29
• 發(fā)明（設(shè)計(jì)）人: M·納法德;黃婷婷;王碩;楊曉東;劉洺堉
• 申請（專利權(quán)）人: 輝達(dá)公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06N3/08;G06K9/00;G06K9/62
• 代理公司: 北京市磐華律師事務(wù)所 11336
• 代理人: 高偉

本文涉及用于自監(jiān)督事件學(xué)習(xí)和異常檢測的神經(jīng)架構(gòu)的技術(shù)。本文描述了使用至少一個(gè)神經(jīng)網(wǎng)絡(luò)來推斷圖像序列中各個(gè)幀的內(nèi)容并進(jìn)一步推斷圖像序列中的內(nèi)容隨時(shí)間的變化以確定圖像序列中是否存在一個(gè)或更多個(gè)異常事件的系統(tǒng)和方法。

背景技術(shù)

在能夠?yàn)閺囊曨l數(shù)據(jù)中識別的大量事件擴(kuò)展訓(xùn)練神經(jīng)網(wǎng)絡(luò)方面，存在各 種技術(shù)挑戰(zhàn)。隨著從攝像機(jī)獲取的視頻數(shù)據(jù)越來越大，對視頻數(shù)據(jù)中檢測到 的事件和/或?qū)ο蟮母櫤捅O(jiān)控變得更加復(fù)雜和容易出錯(cuò)。換言之，隨著視頻 數(shù)據(jù)的不斷增大，連續(xù)地、準(zhǔn)確地監(jiān)控和跟蹤事件和/或?qū)ο笮枰嗟挠?jì)算 資源。也就是說，事件和/或?qū)ο髾z測需要監(jiān)督資源和計(jì)算資源，需要其來解 析和跟蹤視頻數(shù)據(jù)中超過具有有限資源的計(jì)算環(huán)境所能處理或以其他方式難 以承受的范圍的各個(gè)和每個(gè)事件和/或?qū)ο蟆?/p>

附圖簡要說明

將參考附圖描述各種技術(shù)，其中：

圖1示出了根據(jù)一個(gè)實(shí)施例的計(jì)算環(huán)境，其中，神經(jīng)架構(gòu)被實(shí)現(xiàn)以檢測 一個(gè)或更多個(gè)異常事件；

圖2示出了根據(jù)一個(gè)實(shí)施例的環(huán)境，其中，使用至少一個(gè)自動編碼器、 長短期記憶(LSTM)和概率模型來實(shí)現(xiàn)神經(jīng)架構(gòu)以檢測一個(gè)或更多個(gè)異常事 件；

圖3示出了根據(jù)一個(gè)實(shí)施例的時(shí)空空間中的事件跟蹤圖；

圖4是根據(jù)一個(gè)實(shí)施例的用于訓(xùn)練至少一個(gè)神經(jīng)網(wǎng)絡(luò)以確定圖像序列中 的一個(gè)或更多個(gè)異常事件的過程的示例；

圖5是根據(jù)一個(gè)實(shí)施例的用于檢測圖像序列中的一個(gè)或更多個(gè)異常事件 的過程500的示例；

圖6示出了根據(jù)一個(gè)實(shí)施例的并行處理單元(“PPU”)的示例；

圖7示出了根據(jù)一個(gè)實(shí)施例的一般處理集群(“GPC”)的示例；

圖8示出了根據(jù)一個(gè)實(shí)施例的存儲器分區(qū)單元的示例；

圖9示出了根據(jù)一個(gè)實(shí)施例的流式多處理器的示例；以及

圖10示出了根據(jù)一個(gè)實(shí)施例的能夠?qū)崿F(xiàn)各種示例的計(jì)算機(jī)系統(tǒng)。

詳細(xì)描述

在至少一個(gè)實(shí)施例中，根據(jù)本發(fā)明實(shí)施的系統(tǒng)和方法被用于創(chuàng)建端到端 的神經(jīng)架構(gòu)(例如，神經(jīng)網(wǎng)絡(luò))，其在一個(gè)網(wǎng)絡(luò)中同時(shí)結(jié)合了自我監(jiān)督、對圖 像序列的時(shí)間動力學(xué)建模以及學(xué)習(xí)正常事件行為的能力。在至少一個(gè)實(shí)施例 中，神經(jīng)網(wǎng)絡(luò)結(jié)合了深度自編碼器的自我監(jiān)督(self-supervision)和高斯混合 的潛在空間建模以及遞歸網(wǎng)絡(luò)的時(shí)間動態(tài)建模。在至少一個(gè)實(shí)施例中，至少 一個(gè)神經(jīng)網(wǎng)絡(luò)使用來自視頻中幀的空間信息(各個(gè)幀的內(nèi)容)和時(shí)間信息(幀 如何隨時(shí)間變化)兩者來確定視頻的圖像集中是否存在異常事件。