[發明專利]一種基于采樣注意力的長序列高效學習方法

在審

• 申請號: 202110025631.9
• 申請日: 2021-01-08
• 公開（公告）號: CN112668665A
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 吳偶;江超;鄧英俊
• 申請（專利權）人: 天津大學;核工業理化工程研究院
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08;G06N7/00
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 劉子文

本發明公開一種基于采樣注意力的長序列高效學習方法。包括以下步驟：收集長序列樣本構成長序列樣本集，然后采集一部分樣本，并對每一個樣本，隨機截取子序列來構成一個子序列樣本集。利用經典的Transformer算法，并依據預測最后一個節點的自監督學習策略，來構建長序列初始Transformer模型。利用節點鏈接的剪枝方法，來剪掉每個字樣本對應的Transformer模型中比例為α的鏈接。剪掉的鏈接對應的節點類別記為0，未被剪掉的鏈接對應的節點類別記為1。利用logistic回歸模型來學習一個分類模型。再利用Transformer對原長序列樣本集開展自監督學習，在每個樣本上學習上，利用上述構建的logistic回歸模型，抽取序列上比例為(1?α)的節點。最終可以構建一個針對該長序列樣本集的深度學習模型。

技術領域

本發明涉及計算機應用技術領域，特別涉及一種基于采樣注意力的長序列高效學習方法。

背景技術

在自然語言處理、語音信號識別、工業時序信號監測等諸多領域，需要對長序列進行分析和處理。而面向長序列的回歸與分類模型的學習又是其中的核心技術。

近年來，隨著新一代的深度神經網絡Transformer的提出，其被迅速應用到各類型的長序列學習問題中。Transformer充分地利用了序列各節點信息之間的關系，在許多具體的學習任務上均取得了state-of-the-art的性能結果。但是Transformer需要建模序列節點上所有兩兩節點之間的關系，這個計算復雜度就非常高，不適用于一些對計算復雜度非常敏感的應用場合。

目前已經有一些稀疏注意力機制等改進算法被提出，但是這類型的算法，通常需要一些先驗知識，比如需要充分利用信號之間的周期性關系。在一些先驗知識不能夠較為準確提出的問題上，就需要更為合理的高效的學習算法。

發明內容

本發明的目的是為了克服現有技術中的不足，提供一種基于采樣注意力的長序列高效學習方法，該方法從采樣的角度來減少計算復雜度，其采樣函數的構建，也是通過在小范圍的序列學習基礎之上來學習得到的，不依賴任何先驗知識，且可以根據計算設備的條件，來控制采樣率，以適應不同場合的現實需求。

本發明的目的是通過以下技術方案實現的：

一種基于采樣注意力的長序列高效學習方法，包括以下步驟：

步驟1，首先通過計算機收集長序列以構成長序列樣本集；

步驟2，依次從長序列樣本集中采樣，得到一部分樣本，并對每一個樣本，隨機截取子序列，最終構成一個子序列樣本集，利用序列節點全連接的Transformer算法，并依據預測最后一個節點的自監督學習策略，構建出長序列初始Transformer模型；

步驟3，針對子序列樣本集中的每個子序列樣本，利用節點鏈接的剪枝方法，剪掉每個子序列樣本對應的Transformer模型中比例為α的鏈接；記錄未被剪掉的鏈接對應的節點；

步驟4，將未被剪掉的鏈接對應的節點的類別記為1，剪掉的記為0；根據當前子序列樣本中除了最后節點之外的所有節點，以及每個節點的是否被剪掉對應的類別信息，構建一個logistic回歸模型；

步驟5，在長序列樣本集學習上，利用步驟4所構建的logistic回歸模型，抽取序列上比例為(1-α)的節點；再利用Transformer算法對長序列樣本集經過抽樣之后開展自監督學習，最終構建出一個針對長序列樣本集的深度學習模型。

與現有技術相比，本發明的技術方案所帶來的有益效果是：