[發明專利]一種基于采樣注意力的長序列高效學習方法在審
| 申請號： | 202110025631.9 | 申請日： | 2021-01-08 |
| 公開（公告）號： | CN112668665A | 公開（公告）日： | 2021-04-16 |
| 發明（設計）人： | 吳偶;江超;鄧英俊 | 申請（專利權）人： | 天津大學;核工業理化工程研究院 |
| 主分類號： | G06K9/62 | 分類號： | G06K9/62;G06N3/08;G06N7/00 |
| 代理公司： | 天津市北洋有限責任專利代理事務所 12201 | 代理人： | 劉子文 |
| 地址： | 300072*** | 國省代碼： | 天津;12 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 基于 采樣 注意力 序列 高效 學習方法 | ||
【權利要求書】：
1.一種基于采樣注意力的長序列高效學習方法，其特征在于，包括以下步驟：
步驟1，首先通過計算機收集長序列以構成長序列樣本集；
步驟2，依次從長序列樣本集中采樣，得到一部分樣本，并對每一個樣本，隨機截取子序列，最終構成一個子序列樣本集，利用序列節點全連接的Transformer算法，并依據預測最后一個節點的自監督學習策略，構建出長序列初始Transformer模型；
步驟3，針對子序列樣本集中的每個子序列樣本，利用節點鏈接的剪枝方法，剪掉每個子序列樣本對應的Transformer模型中比例為α的鏈接；記錄未被剪掉的鏈接對應的節點；
步驟4，將未被剪掉的鏈接對應的節點的類別記為1，剪掉的記為0；根據當前子序列樣本中除了最后節點之外的所有節點，以及每個節點的剪掉與否對應的類別信息，構建一個logistic回歸模型；
步驟5，在長序列樣本集學習上，利用步驟4所構建的logistic回歸模型，抽取序列上比例為(1-α)的節點；再利用Transformer算法對長序列樣本集經過抽樣之后開展自監督學習，最終構建出一個針對長序列樣本集的深度學習模型。
下載完整專利技術內容需要扣除積分，VIP會員可以免費下載。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于天津大學;核工業理化工程研究院，未經天津大學;核工業理化工程研究院許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202110025631.9/1.html，轉載請聲明來源鉆瓜專利網。
