[發(fā)明專利]一種問(wèn)答系統(tǒng)評(píng)價(jià)方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201710265734.6
• 申請(qǐng)日: 2017-04-21
• 公開(kāi)（公告）號(hào): CN108733712B
• 公開(kāi)（公告）日: 2021-03-30
• 發(fā)明（設(shè)計(jì)）人: 林江華
• 申請(qǐng)（專利權(quán)）人: 北京京東尚科信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號(hào): G06F16/332
• 分類號(hào): G06F16/332;G06Q10/06
• 代理公司: 中原信達(dá)知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 張一軍;姜?jiǎng)?/td>

1.一種問(wèn)答系統(tǒng)評(píng)價(jià)方法，其特征在于，包括：

根據(jù)用戶輸入，通過(guò)邀評(píng)概率計(jì)算搜集測(cè)試語(yǔ)料；

利用所述測(cè)試語(yǔ)料，通過(guò)聚類對(duì)問(wèn)答系統(tǒng)進(jìn)行測(cè)試；

根據(jù)測(cè)試結(jié)果更新知識(shí)庫(kù)；

通過(guò)以下公式進(jìn)行所述邀評(píng)概率計(jì)算：

ο＝N(S)*N(A)*N(C)*N(E)*N(Q)

其中：

N(x)為符合正態(tài)分布的函數(shù)，其值為非負(fù)，且在x＝0時(shí)最大，在x＝1時(shí)最??；

S為第一問(wèn)題和第二問(wèn)題的相似度，其值為[0-1]，值越大則表示兩個(gè)問(wèn)題越相似；

A為第一問(wèn)題和第二問(wèn)題在測(cè)試語(yǔ)料庫(kù)中的正確率，其值為[0-1]，值越大則表示正確率越高；

C為該用戶近期被邀評(píng)的次數(shù)，其值為[0-1]，值越大則表示該用戶近期被邀評(píng)的次數(shù)越多；

Q為第一問(wèn)題近期被邀評(píng)的次數(shù)，其值為[0-1]，值越大則表示該問(wèn)題近期被邀評(píng)的次數(shù)越多。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)用戶輸入，通過(guò)邀評(píng)概率計(jì)算搜集測(cè)試語(yǔ)料包括：

接收用戶從問(wèn)答系統(tǒng)人機(jī)界面輸入的第一問(wèn)題，并將所述第一問(wèn)題通過(guò)測(cè)試數(shù)據(jù)生成系統(tǒng)轉(zhuǎn)發(fā)至問(wèn)答系統(tǒng)；

從所述問(wèn)答系統(tǒng)獲取對(duì)應(yīng)于所述第一問(wèn)題的第二問(wèn)題和答案，對(duì)所述第二問(wèn)題進(jìn)行所述邀評(píng)概率計(jì)算；

如果邀評(píng)概率小于閾值，則將所述第二問(wèn)題和答案返回給所述問(wèn)答系統(tǒng)人機(jī)界面進(jìn)行展示，并且測(cè)試語(yǔ)料搜集過(guò)程結(jié)束；否則從測(cè)試語(yǔ)料庫(kù)中隨機(jī)抽取與所述第一問(wèn)題相似而與所述第二問(wèn)題不同的一個(gè)或多個(gè)問(wèn)題，將所述一個(gè)或多個(gè)問(wèn)題與所述第二問(wèn)題進(jìn)行亂序排列，以獲得第三問(wèn)題，將所述第三問(wèn)題返回給所述問(wèn)答系統(tǒng)人機(jī)界面進(jìn)行展示；

將用戶在所述問(wèn)答系統(tǒng)人機(jī)界面上的操作結(jié)果反饋給測(cè)試數(shù)據(jù)生成系統(tǒng)，以更新所述測(cè)試語(yǔ)料庫(kù)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，將用戶在所述問(wèn)答系統(tǒng)人機(jī)界面上的操作結(jié)果反饋給測(cè)試數(shù)據(jù)生成系統(tǒng)，以更新所述測(cè)試語(yǔ)料庫(kù)包括：

若用戶點(diǎn)擊某個(gè)具體問(wèn)題，且用戶點(diǎn)擊的問(wèn)題為所述第二問(wèn)題，則將所述第一問(wèn)題、所述第二問(wèn)題存入測(cè)試語(yǔ)料庫(kù)，記為匹配正確；向問(wèn)答系統(tǒng)人機(jī)問(wèn)答系統(tǒng)人機(jī)界面返回與所述第二問(wèn)題對(duì)應(yīng)的答案以進(jìn)行展示；

若用戶點(diǎn)擊某個(gè)具體問(wèn)題，且用戶點(diǎn)擊的問(wèn)題不為所述第二問(wèn)題，則將所述第一問(wèn)題、所述第二問(wèn)題存入測(cè)試語(yǔ)料庫(kù)，記為匹配錯(cuò)誤；同時(shí)將所述第一問(wèn)題、用戶點(diǎn)擊的問(wèn)題也存入測(cè)試語(yǔ)料庫(kù)，記為匹配正確；向問(wèn)答系統(tǒng)人機(jī)問(wèn)答系統(tǒng)人機(jī)界面返回用戶點(diǎn)擊問(wèn)題的答案以進(jìn)行展示；

若用戶輸入新的問(wèn)題或用戶未進(jìn)行任何操作，則將所述第一問(wèn)題、所述第二問(wèn)題存入測(cè)試語(yǔ)料庫(kù)，記為匹配錯(cuò)誤。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，利用測(cè)試語(yǔ)料，通過(guò)聚類對(duì)問(wèn)答系統(tǒng)進(jìn)行測(cè)試包括：

從測(cè)試語(yǔ)料庫(kù)的標(biāo)注問(wèn)答集中抽取滿足導(dǎo)出條件的語(yǔ)料集；

對(duì)所述語(yǔ)料集按照用戶的問(wèn)題進(jìn)行聚類；

對(duì)每一個(gè)聚類結(jié)果，再按照與所述問(wèn)題對(duì)應(yīng)的答案進(jìn)行二次聚類；

對(duì)每一個(gè)二次聚類的結(jié)果，統(tǒng)計(jì)被標(biāo)注為正確的記錄占二次聚類結(jié)果的記錄總數(shù)的比例，若所述比例大于預(yù)定值則將二次聚類結(jié)果標(biāo)記為正確，否則標(biāo)記為錯(cuò)誤；若與所述問(wèn)題對(duì)應(yīng)的答案為空，或者二次聚類結(jié)果的記錄總數(shù)小于預(yù)定值，則忽略所述二次聚類結(jié)果；

對(duì)二次聚類結(jié)果計(jì)算準(zhǔn)確率和召回率。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

在所述問(wèn)答系統(tǒng)首次運(yùn)行或發(fā)生修改以及所述知識(shí)庫(kù)被重置后，對(duì)測(cè)試語(yǔ)料庫(kù)進(jìn)行初始化。