[發(fā)明專利]客服機(jī)器人的評(píng)測(cè)方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201910843141.2
• 申請(qǐng)日: 2019-09-06
• 公開（公告）號(hào): CN110737759B
• 公開（公告）日: 2023-07-25
• 發(fā)明（設(shè)計(jì)）人: 彭晶
• 申請(qǐng)（專利權(quán)）人: 中國(guó)平安人壽保險(xiǎn)股份有限公司
• 主分類號(hào): G06F16/332
• 分類號(hào): G06F16/332;G06F16/33;G06F16/35;G06Q10/0639;G06Q30/015
• 代理公司: 深圳眾鼎專利商標(biāo)代理事務(wù)所(普通合伙) 44325
• 代理人: 詹建新

1.一種客服機(jī)器人的評(píng)測(cè)方法，其特征在于，包括：

獲取驗(yàn)證語料集中的用戶問句，所述驗(yàn)證語料集中每一條記錄包括一條預(yù)先采集的用戶問句及所述用戶問句對(duì)應(yīng)的預(yù)期答案；

調(diào)用客服機(jī)器人接口，將所述驗(yàn)證語料集中的用戶問句提交至客服機(jī)器人；

解析所述客服機(jī)器人接口返回的數(shù)據(jù)包，從所述數(shù)據(jù)包中提取得到所述用戶問句對(duì)應(yīng)的客服答案；

將所述用戶問句輸入預(yù)設(shè)的FAQ模型，得到答案閾值；

將所述答案閾值在預(yù)設(shè)第一區(qū)間的用戶問句對(duì)應(yīng)的客服答案、所述答案閾值在預(yù)設(shè)第二區(qū)間的用戶問句對(duì)應(yīng)的客服答案以及所述答案閾值在預(yù)設(shè)第三區(qū)間的用戶問句對(duì)應(yīng)的客服答案分別確定為第一類答案、第二類答案和第三類答案；

將所述第一類答案、第二類答案和第三類答案分別與所述用戶問句各自對(duì)應(yīng)的預(yù)期答案進(jìn)行一一比對(duì)，得到所述用戶問句各自對(duì)應(yīng)的匹配度；

分別統(tǒng)計(jì)第一類答案的匹配度大于預(yù)設(shè)第一閾值的數(shù)量、第二類答案的匹配度大于預(yù)設(shè)第二閾值的數(shù)量、第三類答案的匹配度大于預(yù)設(shè)第三閾值的數(shù)量和用戶問句總數(shù)量；

根據(jù)統(tǒng)計(jì)得到的數(shù)量分別計(jì)算得到第一類答案、第二類答案和第三類答案各自對(duì)應(yīng)的第一準(zhǔn)確率、第二準(zhǔn)確率和第三準(zhǔn)確率；

根據(jù)所述第一準(zhǔn)確率、所述第二準(zhǔn)確率、所述第三準(zhǔn)確率以及各自對(duì)應(yīng)的權(quán)重計(jì)算得到客服機(jī)器人準(zhǔn)確率的總評(píng)分值。

2.根據(jù)權(quán)利要求1所述的客服機(jī)器人的評(píng)測(cè)方法，其特征在于，在根據(jù)所述第一準(zhǔn)確率、所述第二準(zhǔn)確率、所述第三準(zhǔn)確率以及各自對(duì)應(yīng)的權(quán)重計(jì)算得到客服機(jī)器人準(zhǔn)確率的總評(píng)分值之后，還包括：

在預(yù)設(shè)第一時(shí)間內(nèi)更新所述驗(yàn)證語料集，得到更新之后的第一驗(yàn)證語料集；

分別獲取第一驗(yàn)證語料集在各個(gè)業(yè)務(wù)類型中的用戶問句覆蓋率預(yù)設(shè)的各自對(duì)應(yīng)的閾值；

判斷所述用戶問句覆蓋率是否達(dá)到所述各自對(duì)應(yīng)的閾值；

若所述用戶問句覆蓋率均達(dá)到各自對(duì)應(yīng)的所述閾值，則確定所述第一驗(yàn)證語料集為目標(biāo)驗(yàn)證語料集。

3.根據(jù)權(quán)利要求2所述的客服機(jī)器人的評(píng)測(cè)方法，其特征在于，所述判斷所述用戶問句覆蓋率是否達(dá)到所述各自對(duì)應(yīng)的閾值，包括：

統(tǒng)計(jì)第一驗(yàn)證語料集中各個(gè)業(yè)務(wù)類型的用戶問句的數(shù)量和預(yù)先采集的各個(gè)業(yè)務(wù)類型的用戶問句的數(shù)量；

根據(jù)統(tǒng)計(jì)得到的數(shù)量分別計(jì)算得到第一驗(yàn)證語料集中各個(gè)業(yè)務(wù)類型的用戶問句覆蓋率；

判斷所述用戶問句覆蓋率是否達(dá)到所述各自對(duì)應(yīng)的閾值。

4.根據(jù)權(quán)利要求1所述的客服機(jī)器人的評(píng)測(cè)方法，其特征在于，在所述獲取驗(yàn)證語料集中的用戶問句之前，還包括：

采集預(yù)設(shè)第二時(shí)間內(nèi)的客服機(jī)器人的原始用戶問句；

根據(jù)業(yè)務(wù)類型劃分所述原始用戶問句；

針對(duì)劃分后的各個(gè)業(yè)務(wù)類型對(duì)應(yīng)的原始用戶問句，按照原始用戶問句出現(xiàn)的頻次篩選出預(yù)設(shè)數(shù)量的用戶問句；

針對(duì)篩選之后的各個(gè)業(yè)務(wù)類型的用戶問句，分別標(biāo)注各個(gè)業(yè)務(wù)類型中每條用戶問句對(duì)應(yīng)的預(yù)期答案；

將所述用戶問句和所述用戶問句對(duì)應(yīng)的預(yù)期答案確定為驗(yàn)證語料集。

5.根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的客服機(jī)器人的評(píng)測(cè)方法，其特征在于，所述根據(jù)所述第一準(zhǔn)確率、所述第二準(zhǔn)確率、所述第三準(zhǔn)確率以及各自對(duì)應(yīng)的權(quán)重計(jì)算得到客服機(jī)器人準(zhǔn)確率的總評(píng)分值，包括：

分別獲取所述第一準(zhǔn)確率、所述第二準(zhǔn)確率和所述第三準(zhǔn)確率各自對(duì)應(yīng)的第一權(quán)重、第二權(quán)重和第三權(quán)重；

根據(jù)所述第一權(quán)重、所述第二權(quán)重、所述第三權(quán)重以及預(yù)設(shè)的第一評(píng)分規(guī)則分別計(jì)算得到所述第一類答案、所述第二類答案和所述第三類答案各自對(duì)應(yīng)的第一評(píng)分值、第二評(píng)分值和第三評(píng)分值；

根據(jù)所述第一評(píng)分值、所述第二評(píng)分值、所述第三評(píng)分值以及預(yù)設(shè)的第二評(píng)分規(guī)則計(jì)算得到客服機(jī)器人準(zhǔn)確率的總評(píng)分值，所述總評(píng)分值與所述客服機(jī)器人準(zhǔn)確率正相關(guān)。