[發(fā)明專利]一種知識庫構(gòu)建方法及裝置

有效

• 申請?zhí)枺?/td>: 201610348010.3
• 申請日: 2016-05-24
• 公開（公告）號: CN107423819B
• 公開（公告）日: 2021-08-24
• 發(fā)明（設(shè)計）人: 占懷旻
• 申請（專利權(quán)）人: 阿里巴巴集團控股有限公司
• 主分類號: G06N5/02
• 分類號: G06N5/02;G06N5/04
• 代理公司: 北京安信方達知識產(chǎn)權(quán)代理有限公司 11262
• 代理人: 韓輝峰;李丹

本申請公開了一種知識庫構(gòu)建方法及裝置，包括根據(jù)用戶的等級，將第二題目集發(fā)送給多個用戶；獲取第二題目集對應的第二標注結(jié)果；根據(jù)獲得的第二標注結(jié)果構(gòu)建知識庫；其中，所述用戶的等級，是根據(jù)用戶針對第一題目集的第一標注結(jié)果確定的。本申請通過對用戶的調(diào)整，實現(xiàn)了對用戶的合理分配，從而避免了后續(xù)作答中產(chǎn)生過多的無用數(shù)據(jù)，提高了知識庫構(gòu)建的準確性。

技術(shù)領(lǐng)域

本申請涉及計算機網(wǎng)絡(luò)技術(shù)，尤指一種知識庫構(gòu)建方法及裝置。

背景技術(shù)

眾包標注任務(wù)泛指一類眾包任務(wù)。眾包標注任務(wù)借助用戶如廣大網(wǎng)民的力量，對一些算法無法判斷的問題做出標注，這樣，可以根據(jù)網(wǎng)民的標注來確定這些問題的答案，以便構(gòu)建成知識庫。比如對于這樣一個場景：網(wǎng)民經(jīng)常問一客服機器人這樣兩個問題：1)淘寶和阿里巴巴是什么關(guān)系？2)天貓和阿里巴巴是什么關(guān)系？假如，算法無法判斷問題1)和問題2)是否可以用同一個答案來解答，這種情況下，可以借助眾包標注任務(wù)獲取廣大網(wǎng)民的力量對這個問題作出的標注，以便進一步確定出這個問題的答案。比如：可以將這兩個問題推送給100個網(wǎng)民，讓其標注這兩個問題是“同義”或是“不同義”；收集這100個網(wǎng)民的標注結(jié)果，分析出這兩個問題是否是同義的，并將分析的結(jié)果提供給客服機器人作為以后判斷這兩個問題是否可以用同一個答案來解答的依據(jù)。

為了保證知識庫構(gòu)建如眾包標注任務(wù)的可信度，可以采用眾包任務(wù)常用的反作弊手法如預先設(shè)置測試題目如埋雷，即將一些有明顯已知答案的題目即預先設(shè)置測試題目安插在題目集中，這樣，在網(wǎng)民做題時，如果這些題目都會回答錯誤如踩雷失敗，那么，說明該用戶的答案是不可信的。

目前，眾包標注任務(wù)的實現(xiàn)大致包括：任務(wù)發(fā)布方收集需要進行標注的問題以組成題目集；每一個需要標注的問題需要設(shè)置一個不小于1的回收量，由于越大的樣本容量可以獲得越好的統(tǒng)計和分析結(jié)果，因此，在保證每個網(wǎng)民都會提交的前提下，回收量越大越好；將題目集推送給客戶端的網(wǎng)民來填答，如目前常用的方式是：可以以問卷的形式隨機給不同的網(wǎng)民推送題目集作答；通過網(wǎng)民提交的答案數(shù)據(jù)來分析這些問題的答案。進一步地，在上述過程中，可在題目集中加入一些預先設(shè)置測試題目，根據(jù)網(wǎng)民對預先設(shè)置測試題目的作答情況判斷這個網(wǎng)民的做題結(jié)果是否可信，如不可信，那么在后期的分析中會剔除該網(wǎng)民的標注結(jié)果。

從上述眾包標注任務(wù)的實現(xiàn)來看，由于問題的難度參差不齊，廣大網(wǎng)民的水平也有所差異，而這些因素是任務(wù)發(fā)布方事先都不知道的，而目前的眾包標注任務(wù)的實現(xiàn)是隨機將一部分題目推送給一部分網(wǎng)民，這樣，題目作答沒有針對性即很難做到最厲害的網(wǎng)民作答最難的題，造成了網(wǎng)民資源的不合理分配，也相應降低了眾包標注任務(wù)的準確性；另一方面，目前采用隨機分配題目給用戶的做法，導致在有限的時間和網(wǎng)民資源限制下，也沒有辦法從許多的標注問題中找到較難的一部分題目進行重點解決。

發(fā)明內(nèi)容

為了解決上述技術(shù)問題，本申請?zhí)峁┝艘环N知識庫構(gòu)建方法及裝置，能夠?qū)崿F(xiàn)網(wǎng)民資源的合理分配。

為了達到本申請目的，本申請?zhí)峁┮环N知識庫構(gòu)建方法，包括：

根據(jù)用戶的等級，將第二題目集發(fā)送給多個用戶；

獲取第二題目集對應的第二標注結(jié)果；

根據(jù)獲得的第二標注結(jié)果構(gòu)建知識庫；

其中，所述用戶的等級，是根據(jù)用戶針對第一題目集的第一標注結(jié)果確定的。

可選地，該方法還包括：確定所述第一題目集中部分或全部題目的等級；

根據(jù)所述第一題目集中部分或全部題目的等級構(gòu)建所述第二題目集；

所述將第二題目集發(fā)送給多個用戶包括：

將所述第二題目集發(fā)送給與之匹配等級的多個用戶。

可選地，所述根據(jù)用戶針對第一題目集的第一標注結(jié)果確定所述用戶的等級，包括：