[發明專利]專業數據的標注人員遴選方法、裝置和電子設備

在審

• 申請號: 202210113924.7
• 申請日: 2022-01-30
• 公開（公告）號: CN114446431A
• 公開（公告）日: 2022-05-06
• 發明（設計）人: 李姣;馬鶴桐;王序文;徐曉巍
• 申請（專利權）人: 中國醫學科學院醫學信息研究所
• 主分類號: G16H10/60
• 分類號: G16H10/60;G16H40/20;G06Q10/06;G06F40/295
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 魯麗美

1.一種專業數據的標注人員遴選方法，其特征在于，包括：

對標注人員集中的不同標注人員進行能力評測，得到各標注人員分別對應的能力評測結果；標注人員對應的能力評測結果，能用于表征標注人員對預定領域專業數據的多種實體類型中每種實體類型的標注質量，和/或對多篇測試文本中每篇文本的標注質量；

根據標注人員對應的能力評測結果，構建標注人員的用戶特征；

構建所述多種實體類型中每種實體類型的實體類型特征；和/或，構建所述多篇測試文本中每篇測試文本的文本主題特征；

根據標注人員的用戶特征，每種實體類型的實體類型特征和/或每篇測試文本的文本主題特征，以及待標注任務的任務特征，從所述標注人員集中為所述待標注任務選取用于任務標注的至少一個目標標注人員；

將所述待標注任務分配給選取的目標標注人員。

2.根據權利要求1所述的方法，其特征在于，所述對標注人員集中的不同標注人員進行能力評測，得到各標注人員分別對應的能力評測結果，包括：

設置所述預定領域專業數據的多篇測試文本，每篇測試文本對應所述預定領域的一種或多種實體類型；

獲取所述標注人員集中每個標注人員對所述多篇測試文本進行實體標注所得的標注結果；

根據每個標注人員的標注結果，確定每個標注人員對每種實體類型的標注質量的質量指標值，和/或對每篇測試文本的標注質量的質量指標值，得到每個標注人員對應的能力評測結果。

3.根據權利要求2所述的方法，其特征在于，所述根據標注人員對應的能力評測結果，構建標注人員的用戶特征，包括：

根據標注人員對每種實體類型的標注質量的質量指標值，和/或對每篇測試文本的標注質量的質量指標值，構建標注人員的用戶特征；

其中，標注人員的用戶特征為按序排列的多維特征，每維特征包括：相應實體類型與標注人員在所述相應實體類型產生的質量指標值的對應關系，和/或，各篇測試文本的文本標識與標注人員在相應測試文本產生的質量指標值的對應關系。

4.根據權利要求3所述的方法，其特征在于，在構建標注人員的用戶特征之前，還包括：

從所述標注人員集中濾除對應的相應質量指標值未滿足設定的指標條件的標注人員。

5.根據權利要求3所述的方法，其特征在于，所述構建所述多種實體類型中每種實體類型的實體類型特征，包括：

根據所述多種實體類型中每種實體類型的實體類型結構，構建每種實體類型的特征表示，得到每種實體類型的實體類型特征；

所述構建所述多篇測試文本中每篇測試文本的文本主題特征，包括：

根據所述多篇測試文本中每篇測試文本的主題分布，構建每篇測試文本的文本主題特征。

6.根據權利要求5所述的方法，其特征在于，實體類型的實體類型結構包括：通過從實體類型對應的知識數據中進行實體對象提取及實體標簽標注，并基于各實體對象的對象關系所構建的樹型的實體標簽體系結構；

根據所述多種實體類型中每種實體類型的實體類型結構，構建每種實體類型的特征表示，包括：

根據實體類型的實體類型結構中每一個節點包含的實體標簽，通過向量空間模型構建實體類型的向量表示，作為實體類型的實體類型特征。