[發明專利]一種基于MT5預訓練模型的學者職稱和年齡預測方法和裝置

在審

• 申請號: 202111371097.3
• 申請日: 2021-11-18
• 公開（公告）號: CN114297366A
• 公開（公告）日: 2022-04-08
• 發明（設計）人: 于凱;王路路;劉佳;仇瑜;張鵬;劉德兵
• 申請（專利權）人: 北京智譜華章科技有限公司
• 主分類號: G06F16/335
• 分類號: G06F16/335;G06F16/35;G06F40/30;G06N3/04
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 單冠飛

1.一種基于MT5預訓練模型的學者職稱和年齡預測方法，其特征在于，包括以下步驟：

S1，根據標注學者姓名、機構爬取網頁搜索結果以獲取訓練文本，并將所述訓練文本存儲在本地數據庫；

S2，基于所述訓練文本，對訓練文本的文本數據進行清洗，以抽取出文本信息；其中，對所述文本信息中超過MT5預訓練模型預設長度文本的異常文本，進行RNN特征提取，輸出與模型維度相同的第一文本向量；所述文本信息包括：學者簡介中的教育經歷、工作經歷、研究經歷信息；

S3，將正常文本的內容序列化以轉成第二文本向量，并將所述第一文本向量和所述第二文本向量，輸入至微調后的MT5預訓練模型中進行模型訓練，以訓練生成對應的文本答案；

S4，將所述文本答案形成結構化的數據，并評測訓練好的模型以生成學者職稱和年齡的輸出結果；

S5，將所述輸出結果利用網頁框架呈現給用戶，完成模型工程化部署。

2.根據權利要求1所述的基于MT5預訓練模型的學者職稱和年齡預測方法，其特征在于，所述對訓練文本的文本數據進行清洗，以抽取出文本信息，包括：

通過正則表達和降噪方式對文本數據進行清洗，抽取出文本信息；其中，對網頁詳細內容進行降噪方式處理，是利用Trafilatura在保留結構的同時抓取網頁的預設信息量文本，基于dom的檢查、xpath表達式和規則的組合，對所述預設信息量文本進行提取和噪聲刪除。

3.根據權利要求1所述的基于MT5預訓練模型的學者職稱和年齡預測方法，其特征在于，所述對所述文本信息中超過MT5預訓練模型預設長度文本的異常文本，進行RNN特征提取，輸出與模型維度相同的第一文本向量，包括：

預設獲取的文本內容向量序列為{z₁，z₂，z₃，...，z₃₅₆₅}，通過循環神經網絡RNN后提取所述文本內容向量序列的語義特征，將所述語義特征連接上3565*1024的全連接層，得到向量維度為{z₁，z₂，z₃，...，z₁₀₂₄}的文本序列，公式如下：

a^t＝tanh(W_axx^t+W_aaa^t-1+b_a)

計算第t個時間步的隱藏層a和預測值y，將兩組參數分別與前一層的激活a和當前數據x結合得到第一文本向量，如下公式：

a^t＝tanh(H_a[a^t-1，x^t]+b_a)

通過全連接層將所述第一文本向量輸出維度調整成為模型embedding的維度。

4.根據權利要求1所述的基于MT5預訓練模型的學者職稱和年齡預測方法，其特征在于，所述S3，包括：

S3.1，將文本內容序列化，利用T5Tokenizer進行分詞并將姓名、機構和文本內容進行pad_token連接，以區分出語義重點信息，并將分詞后的文本序列保存到所述本地數據庫；

S3.2，基于所述分詞后的文本序列，加載所述S1中保存的訓練文本數據，以對所述MT5預訓練模型進行微調。