[發明專利]專業數據的標注人員遴選方法、裝置和電子設備

在審

• 申請號: 202210113924.7
• 申請日: 2022-01-30
• 公開（公告）號: CN114446431A
• 公開（公告）日: 2022-05-06
• 發明（設計）人: 李姣;馬鶴桐;王序文;徐曉巍
• 申請（專利權）人: 中國醫學科學院醫學信息研究所
• 主分類號: G16H10/60
• 分類號: G16H10/60;G16H40/20;G06Q10/06;G06F40/295
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 魯麗美

本申請公開一種專業數據的標注人員遴選方法、裝置和電子設備，本申請基于對標注人員的能力評測構建每一標注人員的用戶特征，以及構建每種實體類型的實體類型特征和/或各篇測試文本分別對應的文本主題特征，并根據每一標注人員的用戶特征，每種實體類型的實體類型特征和/或每篇測試文本的文本主題特征，以及待標注任務的任務特征，為待標注任務選取用于任務標注的至少一個目標標注人員。從而，本申請提出了從多維度、多方面(如，用戶特征、實體類型特征、文本主題特征等)為待處理任務適配合適的、在專業性方面與待標注任務對應一致標注人員，提升了標注結果的準確性和可信性，能夠輔助智能算法實現更好的識別效果。

技術領域

本申請屬于人工智能應用技術領域，尤其涉及一種專業數據的標注人員遴選方法、裝置和電子設備。

背景技術

目前，醫學人工智能技術已廣泛應用于醫學的各個領域，其在醫學大數據驅動下的表現可圈可點，成為醫學從業人員越來越重要的輔助手段。醫學人工智能技術的使用均以大量結構化數據為基礎，訓練出能夠輔助預測或分類的模型。

電子病歷等醫學數據在醫學資源中十分重要，它完成了病人從產生癥狀后就診、醫生診斷、制定治療方案、病人實施治療操作如手術等一系列流程的信息記錄，是了解病人發病原因、治療情況、預后狀況的第一手資料，包含大量重要信息，可用于為醫學人工智能技術提供數據基礎，然而，電子病歷由臨床醫生的描述和記錄實現，通常以不規則的文本即非結構化文本形式呈現，無法直接應用于數據驅動的模型訓練，需要首先完成對其固定類別內容如疾病、手術、實驗等數據的抽取。

鑒于此，醫學人工智能技術中的大批量數據訓練需以醫學術語標注為前提，相應的，在非結構化醫學數據中(如電子病歷)識別不同類型的醫學術語，如疾病，操作等成為醫學人工智能需要解決的重要課題。申請人研究發現，醫學數據通常具備知識專業度高、復雜性高、數據涉及面廣等特點，且醫學人工智能技術要求已標注的醫學術語具有較高的準確性，對醫學標注人員的要求較高，從而，為待標注任務適配合適的、與待標注任務在專業性方面對應一致的標注人員，以幫助提升醫學標注的準確率、減少審核輪數、提高標注效率，對于本領域來說非常重要。

發明內容

有鑒于此，本申請提供一種專業數據的標注人員遴選方法、裝置和電子設備，用于為待標注任務適配合適的、在專業性方面與待標注任務對應一致的標注人員，以提升標注結果的準確性和可信性，輔助智能算法實現更好的識別效果。

具體技術方案如下：

一種專業數據的標注人員遴選方法，包括：

對標注人員集中的不同標注人員進行能力評測，得到各標注人員分別對應的能力評測結果；標注人員對應的能力評測結果，能用于表征標注人員對預定領域專業數據的多種實體類型中每種實體類型的標注質量，和/或對多篇測試文本中每篇文本的標注質量；

根據標注人員對應的能力評測結果，構建標注人員的用戶特征；

構建所述多種實體類型中每種實體類型的實體類型特征；和/或，構建所述多篇測試文本中每篇測試文本的文本主題特征；

根據標注人員的用戶特征，每種實體類型的實體類型特征和/或每篇測試文本的文本主題特征，以及待標注任務的任務特征，從所述標注人員集中為所述待標注任務選取用于任務標注的至少一個目標標注人員；

將所述待標注任務分配給選取的目標標注人員。

可選的，所述對標注人員集中的不同標注人員進行能力評測，得到各標注人員分別對應的能力評測結果，包括：

設置所述預定領域專業數據的多篇測試文本，每種測試文本對應所述預定領域的一種或多種實體類型；

獲取所述標注人員集中每個標注人員對所述多篇測試文本進行實體標注所得的標注結果；