[發明專利]一種基于MT5預訓練模型的學者職稱和年齡預測方法和裝置

在審

• 申請號: 202111371097.3
• 申請日: 2021-11-18
• 公開（公告）號: CN114297366A
• 公開（公告）日: 2022-04-08
• 發明（設計）人: 于凱;王路路;劉佳;仇瑜;張鵬;劉德兵
• 申請（專利權）人: 北京智譜華章科技有限公司
• 主分類號: G06F16/335
• 分類號: G06F16/335;G06F16/35;G06F40/30;G06N3/04
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 單冠飛

本發明公開了一種基于MT5預訓練模型的學者職稱和年齡預測方法和裝置，其中，該方法包括：根據標注學者姓名、機構爬取網頁搜索結果以獲取訓練文本；對訓練文本的文本數據進行清洗，以抽取出文本信息，其中，對超過模型預設長度文本的異常文本，進行RNN特征提取，以獲得維度匹配的第一文本向量；將正常文本的內容序列化以轉成第二文本向量，連同第一文本向量同時輸入微調后的MT5預訓練模型，訓練生成對應的文本答案；將文本答案結構化，并評測訓練好的模型以生成學者職稱和年齡的輸出結果；將輸出結果利用網頁框架呈現給用戶，完成模型工程化部署。本發明通過對文本無關內容進行降噪和清洗，利用訓練模型，大幅提高了學者職稱和年齡的預測效果。

技術領域

本發明涉及信息提取技術領域，尤其涉及一種基于MT5預訓練模型的學者職稱和年齡預測方法和裝置。

背景技術

目前，互聯網上信息資源豐富，往往無結構且類型多樣，難以精確檢索到相關的記錄信息，如將某類事件按照發生地點歸類，而搜索引擎無法完成，因此迫切需要快速準確獲取信息的技術手段，從而信息抽取技術應運而生。以學術圈為例，全球有數億位專家學者，而這些專家學者數據大多以異構非結構化形式在互聯網呈現，這些數據蘊含著大量的有價值數據。研究學者的基本信息對精準的學者定位和學者人才引進提供客觀的依據和輔助決策的支撐。

學者包含的基本信息，例如：年齡、學歷、職稱、工作單位等等對個人或機構有著重要的意義。因此，如何從海量雜亂數據中抽取出有價值的字段信息稱為了學術界和工業界關注的熱點問題。

相關技術中，常規職稱和年齡的預測方法主要借助于學者人物關系和學術成果等信息。然而，申請人發現，在實際場景中大部分學者沒有明確的基礎信息，并且網頁信息存在語義關系較為復雜的情況。例如：學者很難檢索到人物關系和成果發表時間的信息，并且網頁搜索文本中并沒有提到學者職稱或者年齡，只提供了其工作經歷、學習經歷等相關信息。這樣根據傳統特征工程和分類算法并不能學習到其中的復雜語義關系，造成無法準確判斷其職稱與年齡。并且，常規方法通常利用其固定科研成果或者關系信息，不具有實時性。因此，目前亟需一種可以提高學者的職稱和年齡預測的準確性和效率的方案。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明的目的在于利用根據學者姓名和機構搜索結果爬取的學者信息作為訓練文本，通過MT5多語言生成式模型進行信息提取的訓練，用來預測學者的職稱和年齡，提出了一種基于MT5預訓練模型的學者職稱和年齡預測方法。

本發明的另一個目的在于提出一種基于MT5預訓練模型的學者職稱和年齡預測裝置。

為達上述目的，本發明一方面提出了一種基于MT5預訓練模型的學者職稱和年齡預測方法，包括以下步驟：

S1，根據標注學者姓名、機構爬取網頁搜索結果以獲取訓練文本，并將訓練文本存儲在本地數據庫；

S2，基于訓練文本，對訓練文本的文本數據進行清洗,以抽取出文本信息；其中，對文本信息中超過MT5預訓練模型預設長度文本的異常文本，進行RNN特征提取，輸出與模型維度相同的第一文本向量；文本信息包括：學者簡介中的教育經歷、工作經歷、研究經歷信息；

S3，將正常文本的內容序列化以轉成第二文本向量，并將第一文本向量和第二文本向量，輸入至微調后的MT5預訓練模型中進行模型訓練，以訓練生成對應的文本答案；

S4，將文本答案形成結構化的數據，并評測訓練好的模型以生成學者職稱和年齡的輸出結果；

S5，將輸出結果利用網頁框架呈現給用戶，完成模型工程化部署。