[發(fā)明專利]一種基于實(shí)時(shí)情感檢測(cè)的智能語(yǔ)音對(duì)話方法、裝置和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011187653.7
• 申請(qǐng)日: 2020-10-30
• 公開(kāi)（公告）號(hào): CN112017668B
• 公開(kāi)（公告）日: 2021-09-24
• 發(fā)明（設(shè)計(jì)）人: 李夢(mèng)迪
• 申請(qǐng)（專利權(quán)）人: 北京淇瑀信息科技有限公司
• 主分類號(hào): G10L15/26
• 分類號(hào): G10L15/26;G10L21/0208;G06F16/35
• 代理公司: 北京清誠(chéng)知識(shí)產(chǎn)權(quán)代理有限公司 11691
• 代理人: 喬?hào)|峰

1.一種基于實(shí)時(shí)情感檢測(cè)的智能語(yǔ)音對(duì)話方法，用于智能語(yǔ)音機(jī)器人，其特征在于，方法包括：

預(yù)先設(shè)置情感語(yǔ)料庫(kù)以及情感分閾值，所述情感語(yǔ)料庫(kù)存儲(chǔ)情感對(duì)話語(yǔ)料；根據(jù)目的確定好對(duì)話主題，并對(duì)對(duì)話主題進(jìn)行簡(jiǎn)單的文字說(shuō)明，設(shè)置具體的對(duì)話節(jié)點(diǎn)，通過(guò)重要性判斷模型確定各個(gè)對(duì)話節(jié)點(diǎn)與對(duì)話主題的重要性程度，依據(jù)重要性程度對(duì)對(duì)話節(jié)點(diǎn)進(jìn)行排序，生成對(duì)話策略；

根據(jù)設(shè)定的對(duì)話主題與用戶進(jìn)行主題式語(yǔ)音對(duì)話，根據(jù)所述用戶的實(shí)時(shí)對(duì)話語(yǔ)音計(jì)算用戶當(dāng)前的情感分，所述情感分是用于表征用戶的情感狀態(tài)的評(píng)分，具體地，分別計(jì)算基于自然語(yǔ)言理解NLU的情感分以及計(jì)算基于情緒的情感分，將所述基于自然語(yǔ)言理解的情感分和所述基于情緒的情感分賦予不同的權(quán)重，通過(guò)加權(quán)計(jì)算獲得分?jǐn)?shù)為所述用戶當(dāng)前輸入的情感分；

當(dāng)所述情感分達(dá)到情感分閾值時(shí)，暫停主題式語(yǔ)音對(duì)話，從所述情感語(yǔ)料庫(kù)中調(diào)取所述情感對(duì)話語(yǔ)料與用戶進(jìn)行情感對(duì)話，當(dāng)所述用戶當(dāng)前對(duì)話語(yǔ)音的情感分低于所述情感分閾值時(shí)，暫停所述情感對(duì)話，繼續(xù)所述主題式對(duì)話。

2.如權(quán)利要求1所述的基于實(shí)時(shí)情感檢測(cè)的智能語(yǔ)音對(duì)話方法，其特征在于，

所述情感語(yǔ)料庫(kù)存儲(chǔ)有多種情緒主題，不同的情緒主題對(duì)應(yīng)不同的情感對(duì)話語(yǔ)料。

3.如權(quán)利要求2所述的基于實(shí)時(shí)情感檢測(cè)的智能語(yǔ)音對(duì)話方法，其特征在于，所述不同的情緒主題對(duì)應(yīng)不同的情感對(duì)話語(yǔ)料由歷史對(duì)話語(yǔ)料通過(guò)聚類分析獲得。

4.如權(quán)利要求1所述的基于實(shí)時(shí)情感檢測(cè)的智能語(yǔ)音對(duì)話方法，其特征在于，計(jì)算基于自然語(yǔ)言理解的情感分具體為：

將所述用戶當(dāng)前對(duì)話語(yǔ)音轉(zhuǎn)化為文本數(shù)據(jù)；

對(duì)所述文本數(shù)據(jù)進(jìn)行劃詞處理轉(zhuǎn)化為向量；

將劃詞處理后的文本數(shù)據(jù)輸入NLU情感評(píng)分模型，輸出基于NLU的情感分。

5.如權(quán)利要求4所述的基于實(shí)時(shí)情感檢測(cè)的智能語(yǔ)音對(duì)話方法，其特征在于，所述NLU情感評(píng)分模型為基于深度學(xué)習(xí)的TextCNN模型。

6.如權(quán)利要求1所述的基于實(shí)時(shí)情感檢測(cè)的智能語(yǔ)音對(duì)話方法，其特征在于，基于情緒的情感分具體為：

設(shè)置采樣周期，對(duì)用戶當(dāng)前對(duì)話語(yǔ)音進(jìn)行連續(xù)采樣，獲得用戶當(dāng)前對(duì)話語(yǔ)音的音量序列、語(yǔ)速序列；

將用戶當(dāng)前輸入的聲波波形轉(zhuǎn)化為聲波圖像，根據(jù)采樣周期對(duì)所述聲波圖像進(jìn)行連續(xù)采樣，獲得用戶當(dāng)前輸入的聲波圖像序列；

情緒評(píng)分模型根據(jù)所述音量序列、語(yǔ)速序列以及聲波圖形序列計(jì)算基于情緒的情感分。

7.一種基于實(shí)時(shí)情感檢測(cè)的智能語(yǔ)音對(duì)話裝置，用于智能語(yǔ)音機(jī)器人，其特征在于，裝置包括：

情感語(yǔ)料庫(kù)模塊，用于預(yù)先存儲(chǔ)情感語(yǔ)料庫(kù)以及情感分閾值，所述情感語(yǔ)料庫(kù)存儲(chǔ)情感對(duì)話語(yǔ)料；根據(jù)目的確定好對(duì)話主題，并對(duì)對(duì)話主題進(jìn)行簡(jiǎn)單的文字說(shuō)明，設(shè)置具體的對(duì)話節(jié)點(diǎn)，通過(guò)重要性判斷模型確定各個(gè)對(duì)話節(jié)點(diǎn)與對(duì)話主題的重要性程度，依據(jù)重要性程度對(duì)對(duì)話節(jié)點(diǎn)進(jìn)行排序，生成對(duì)話策略；

情感判斷模塊，用于根據(jù)設(shè)定的對(duì)話主題與用戶進(jìn)行主題式語(yǔ)音對(duì)話，根據(jù)所述用戶的實(shí)時(shí)對(duì)話語(yǔ)音計(jì)算用戶當(dāng)前的情感分，所述情感分是用于表征用戶的情感狀態(tài)的評(píng)分，具體地，分別計(jì)算基于自然語(yǔ)言理解NLU的情感分以及計(jì)算基于情緒的情感分，將所述基于自然語(yǔ)言理解的情感分和所述基于情緒的情感分賦予不同的權(quán)重，通過(guò)加權(quán)計(jì)算獲得分?jǐn)?shù)為所述用戶當(dāng)前輸入的情感分；

對(duì)話調(diào)整模塊，用于當(dāng)所述情感分達(dá)到情感分閾值時(shí)，暫停主題式語(yǔ)音對(duì)話，從所述情感語(yǔ)料庫(kù)中調(diào)取所述情感對(duì)話語(yǔ)料與用戶進(jìn)行情感對(duì)話，當(dāng)所述用戶當(dāng)前對(duì)話語(yǔ)音的情感分低于所述情感分閾值時(shí)，暫停所述情感對(duì)話，繼續(xù)所述主題式對(duì)話。

8.一種基于實(shí)時(shí)情感檢測(cè)的智能語(yǔ)音對(duì)話系統(tǒng)，其特征在于，包括：

存儲(chǔ)單元，用于存儲(chǔ)計(jì)算機(jī)可執(zhí)行程序；

處理單元，用于讀取所述存儲(chǔ)單元中的計(jì)算機(jī)可執(zhí)行程序，以執(zhí)行權(quán)利要求1至6中任一項(xiàng)所述的基于實(shí)時(shí)情感檢測(cè)的智能語(yǔ)音對(duì)話方法。

9.一種計(jì)算機(jī)可讀介質(zhì)，用于存儲(chǔ)計(jì)算機(jī)可讀程序，其特征在于，所述計(jì)算機(jī)可讀程序用于執(zhí)行權(quán)利要求1至6中任一項(xiàng)所述的基于實(shí)時(shí)情感檢測(cè)的智能語(yǔ)音對(duì)話方法。