[發明專利]基于信道注意力和級聯提前退出的分布外檢測系統及方法

在審

• 申請號: 202310288978.1
• 申請日: 2023-03-23
• 公開（公告）號: CN116561568A
• 公開（公告）日: 2023-08-08
• 發明（設計）人: 賈俊鋮;李永昌
• 申請（專利權）人: 蘇州大學
• 主分類號: G06F18/214
• 分類號: G06F18/214;G06F18/24;G06N20/00
• 代理公司: 南京智造力知識產權代理有限公司 32382
• 代理人: 陳佳佳

本發明公開了一種基于信道注意力和級聯提前退出的分布外檢測系統及方法，系統包括神經網絡結構，通過將TinyOOD檢測器設置于該神經網絡結構的每個卷積層的輸出側，同時在TinyOOD檢測器中引入基于信道注意力機制的NMD模型，即CA?NMD，可以使用NMD矢量來表示擠壓步驟的結果，減少了計算消耗，同時，信道注意力機制考慮了不同信道的重要性，具有更好的性能，因此，該更輕量的分布外檢測系統應用更廣泛，在檢測方法中，通過將多個TinyOOD檢測器相連，并傳遞CA?NMD矢量，可以細化邏輯回歸檢測模型的輸入，同時加入TinyOOD動態決策，可以實現在不增加本地設備推理延遲的情況下，將任務上傳至云端執行，可以大幅提高推理準確度。

技術領域

本發明涉及機器學習領域，具體涉及一種基于信道注意力和級聯提前退出機制的分布外檢測系統及方法。

背景技術

微型機器學習(TinyML)是一個快速發展的領域，包括嵌入式系統和機器學習交叉領域的研究和開發。TinyML的目標是將機器學習推理應用于功耗極低(～1mW)、價格便宜(約1美元)并且體積很小(～1cm3)的單片機單元(MCU)，最近，TinyML在嵌入式設備上得到了廣泛的普及，這些設備無處不在并且可以實時處理傳感器數據。

然而，在復雜多變的現實世界中，TinyML應用接收到的輸入數據可能會與訓練數據不同。這些輸入樣本被稱為OOD樣本。這些OOD樣本將TinyML應用變得不可靠,不安全。因此，檢測OOD樣本的能力對于TinyML應用進程的部署至關重要。

目前,已經開發了許多用于OOD檢測的方法。其中一種用于深度生成模型的似然比方法，可以有效地檢測遠離訓練分布的數據實例，ODIN向輸入添加小擾動，并平滑softmax分數，以分離分布內和分布外輸入的softmax分數分布。然而，這些方法通常會產生大量的開銷，這是TinyML無法接受的。為了解決這個問題，標準的現成模型已經包含了足夠的訓練數據集的數據分布信息，基于這一觀察結果，技術人員提出了神經平均差異(NMD)度量，該度量可以利用模型隱藏層信息進行可靠的OOD檢測，雖然NMD方法減少了OOD檢測的資源消耗，但它仍然依賴于最后一層的輸出，并且需要對任何給定的輸入進行完整的前向推理，處理過程復雜且耗時。

發明內容

針對上述存在的問題，本發明的目的在于提供一種基于信道注意力和級聯提前退出的分布外檢測系統及方法，達到的目的。

為實現上述目的，本發明提供了一種基于信道注意力和級聯提前退出的分布外檢測系統，包括神經網絡結構，所述神經網絡結構包括多個卷積層，每個所述卷積層的輸出側均連接設置有TinyOOD檢測器，多個所述TinyOOD檢測器分別連接有一個級聯提前退出分支，多個所述TinyOOD檢測器順序連接。

進一步，所述TinyOOD檢測器包括CA-NMD模型和邏輯回歸預測模型。

進一步，所述CA-NMD模型為將信道注意力機制應用于原始NMD模型。

本實施例的另一方面發明了應用于上述分布外檢測系統的分布外檢測方法，包括以下步驟：

S1：樣本輸入神經網絡結構；

S2：經卷積層提取后的樣本特征輸入TinyOOD檢測器；

S3：TinyOOD檢測器通過CA-NMD模型對輸入樣本進行運算并得出CA-NMD矢量；

S4：邏輯回歸預測模型通過CA-NMD矢量和前一次傳遞至當前卷積層的CA-NMD矢量預測輸入的樣本類型是否為分布外樣本；

S5：TinyOOD檢測器執行TinyOOD動態決策。

進一步，步驟S3中CA-NMD矢量的計算方法包括以下步驟：

S31:擠壓步驟，將信道的全局空間信息擠壓到信道描述符中；