[發(fā)明專利]一種知識庫構(gòu)建方法及裝置

有效

• 申請?zhí)枺?/td>: 201610348010.3
• 申請日: 2016-05-24
• 公開（公告）號: CN107423819B
• 公開（公告）日: 2021-08-24
• 發(fā)明（設(shè)計）人: 占懷旻
• 申請（專利權(quán)）人: 阿里巴巴集團控股有限公司
• 主分類號: G06N5/02
• 分類號: G06N5/02;G06N5/04
• 代理公司: 北京安信方達知識產(chǎn)權(quán)代理有限公司 11262
• 代理人: 韓輝峰;李丹

1.一種知識庫構(gòu)建方法，其特征在于，包括：

根據(jù)用戶的等級，將第二題目集發(fā)送給與之匹配等級的多個用戶；

獲取第二題目集對應(yīng)的第二眾包標(biāo)注結(jié)果；

根據(jù)獲得的第二眾包標(biāo)注結(jié)果構(gòu)建知識庫；

其中，所述用戶的等級，是根據(jù)用戶針對第一題目集的第一標(biāo)注結(jié)果確定的。

2.根據(jù)權(quán)利要求1所述的知識庫構(gòu)建方法，其特征在于，該方法還包括：確定所述第一題目集中部分或全部題目的等級；

根據(jù)所述第一題目集中部分或全部題目的等級構(gòu)建所述第二題目集。

3.根據(jù)權(quán)利要求1所述的知識庫構(gòu)建方法，其特征在于，所述根據(jù)用戶針對第一題目集的第一標(biāo)注結(jié)果確定所述用戶的等級，包括：

在所述第一題目集中預(yù)先設(shè)置測試題目并利用所述第一題目集獲取所述第一標(biāo)注結(jié)果，根據(jù)獲得的所述第一標(biāo)注結(jié)果確定所述用戶的正確率；

根據(jù)所述用戶的正確率對所述用戶進行分級。

4.根據(jù)權(quán)利要求3所述的知識庫構(gòu)建方法，其特征在于，所述根據(jù)所述用戶的正確率對所述用戶進行分級，包括：

比較所述用戶的正確率與預(yù)先設(shè)置的用戶正確率閾值，如果所述用戶的正確率小于用戶正確率閾值，則該用戶為等級低的用戶；

刪除所述等級低的用戶。

5.根據(jù)權(quán)利要求2所述的知識庫構(gòu)建方法，其特征在于，所述確定第一題目集中題目的等級包括：

根據(jù)所述第一題目集中預(yù)先設(shè)置的測試題目的作答結(jié)果獲取每個預(yù)先設(shè)置測試題目的作答一致率；

確定每個預(yù)先設(shè)置測試題目的回收量、每個預(yù)先設(shè)置測試題目的作答一致率、作答該預(yù)先設(shè)置測試題目的用戶的平均正確率，以及對該預(yù)先設(shè)置測試題目作答的可信度之間的擬合關(guān)系；

根據(jù)得到的擬合關(guān)系確定所述第一題目集中題目作答的可信度，并根據(jù)得到的題目作答的可信度確定所述第一題目集中題目的等級。

6.根據(jù)權(quán)利要求5所述的知識庫構(gòu)建方法，其特征在于，所述構(gòu)建所述第二題目集包括：

利用所述確定出的擬合關(guān)系，使用所述第一題目集中各個題目的一致率、回收量以及答題的平均正確率，計算出對所述第一題目集發(fā)送的所有題目作答答案的可信度；

如果該題目的作答的可信度越高，則該題目的等級越低；如果該題目的作答的可信度越低，則該題目的等級越高；

比較所述第一題目集中各題目作答的可信度與預(yù)先設(shè)置的作答可信度閾值，如果所述題目作答的可信度大于作答可信度閾值，則該題目的作答答案作為其正確答案并將該題目從題目集中刪除，以構(gòu)成所述第二題目集。

7.根據(jù)權(quán)利要求2所述的知識庫構(gòu)建方法，其特征在于，所述獲取第二題目集對應(yīng)的第二眾包標(biāo)注結(jié)果為：利用分級后的第二題目集和所述分級后的用戶對所述第二題目集進行發(fā)送并獲取第二眾包標(biāo)注結(jié)果。

8.根據(jù)權(quán)利要求2所述的知識庫構(gòu)建方法，其特征在于，該方法還包括：

對分級后的用戶的等級進行排序，對所述分級后的題目的等級進行排序；

將等級越高的題目推送給等級越高的用戶。

9.根據(jù)權(quán)利要求1所述的知識庫構(gòu)建方法，其特征在于，該方法還包括：調(diào)整用戶正確率閾值，并重復(fù)執(zhí)行所述根據(jù)分級后用戶的等級重新對用戶進行分級；及利用第二題目集獲取來自重新分級后的用戶的第二眾包標(biāo)注結(jié)果的步驟。

10.根據(jù)權(quán)利要求2所述的知識庫構(gòu)建方法，其特征在于，該方法還包括：調(diào)整用戶正確率閾值和作答可信度閾值，并重復(fù)執(zhí)行所述根據(jù)分級后用戶的等級重新對用戶進行分級、所述確定所述第二題目集中各題目的等級，以及利用所述重新分級后的第二題目集和所述重新分級后的用戶對第二題目集進行發(fā)送并獲取第二眾包標(biāo)注結(jié)果的步驟。