[發明專利]會話語料推薦評價方法、裝置、存儲介質和電子設備

在審

• 申請號: 202110120824.2
• 申請日: 2021-01-28
• 公開（公告）號: CN112784032A
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 王毅君;徐凱波
• 申請（專利權）人: 上海明略人工智能（集團）有限公司
• 主分類號: G06F16/335
• 分類號: G06F16/335;G06F16/35;G06F40/216;G06F40/284;G06F40/289;G06K9/62
• 代理公司: 北京華夏泰和知識產權代理有限公司 11662
• 代理人: 蔡良偉;李曼

本申請提供了一種會話語料推薦評價方法、裝置、存儲介質和電子設備，其中，方法包括：獲取歷史會話提問內容和用戶選擇的歷史推薦語料清單；計算所述歷史會話提問內容和用戶選擇的歷史推薦語料清單的匹配度；基于所述匹配度對所述推薦語料進行評價。通過計算每一次推薦的提問內容與用戶選取過的語料的相似度，得到總體推薦系統的評價指標，相較于基于點擊率的評價指標能夠提高推薦效果評價的精準度。

技術領域

本申請涉及互聯網技術領域，尤其涉及一種會話語料推薦評價方法、裝置、存儲介質和電子設備。

背景技術

員工在通過企業微信與外部客戶溝通的過程中，根據客戶的聊天內容，通過側邊欄實時地向員工推薦與客戶感興趣話題相關的企業現有的解決方案、話術、文章等信息，便于員工有選擇性的發送給客戶，能夠極大地提高員工與外部客戶的溝通效率，有助于提高客戶的簽單意愿。

員工在通過企業微信與外部客戶溝通的過程中，根據客戶的聊天內容，通過側邊欄實時地向員工推薦與客戶感興趣話題相關的企業現有的解決方案、話術、文章等信息，便于員工有選擇性的發送給客戶，能夠極大地提高員工與外部客戶的溝通效率，有助于提高客戶的簽單意愿。

對推薦效果進行量化評估能夠有效避免主觀評價帶來的不確定性。因此一種有效的推薦效果評價方法對于反映推薦效果的變化趨勢至關重要。

因此，如何準確有效的對語料推薦效果進行評價成為亟待解決的技術問題。

發明內容

本申請提供了一種會話語料推薦評價方法、裝置、存儲介質和電子設備，以至少解決相關技術中存在的如何準確有效的對語料推薦效果進行評價的技術問題。

根據本申請實施例的一個方面，提供了一種會話語料推薦評價方法，包括：獲取歷史會話提問內容和用戶選擇的歷史推薦語料清單；計算所述歷史會話提問內容和用戶選擇的歷史推薦語料清單的匹配度；基于所述匹配度對所述推薦語料進行評價。

可選地，所述計算歷史會話提問內容和用戶選擇的歷史推薦語料的相似度包括：判斷所述用戶選擇的歷史推薦語料是否存在；若存在，則計算存在的每一歷史推薦語料和所述每一歷史推薦語料對應的歷史會話提問內容的相似度；基于所述相似度確定所述歷史會話提問內容和用戶選擇的歷史推薦語料的匹配度。

可選地，所述計算存在的每一歷史推薦語料和所述每一歷史推薦語料對應的歷史會話提問內容的相似度包括：基于所述每一歷史推薦語料和所述歷史會話提問內容選取重要詞集合；計算所述每一歷史推薦語料和所述歷史會話提問內容相對于所述重要詞集合中的詞的詞頻向量；計算所述詞頻向量之間的相似度。

可選地，所述基于所述每一歷史推薦語料和所述歷史會話提問內容選取重要詞集合包括：計算所述每一歷史推薦語料和所述歷史會話提問內容中的每個詞的重要程度值；選取重要程度值大于預設值的詞作為重要詞集合。

可選地，所述基于所述相似度確定所述歷史會話提問內容和用戶選擇的歷史推薦語料的匹配度包括：計算所述用戶選擇的所有歷史推薦語料與所述歷史推薦語料對應的歷史會話提問內容的相似度的平均值作為所述匹配度。

可選地，會話語料推薦評價方法還包括：對所述歷史會話提問內容和所述每一歷史推薦語料分別進行分詞；去除預設輔助詞。

根據本申請實施例的又一個方面，還提供了一種會話語料推薦評價裝置，包括：獲取模塊，用于獲取會話提問內容和會話歷史記錄；第一計算模塊，用于計算推薦語料庫中的每一語料與所述提問內容的第一相似度；第二計算模塊，用于計算所述推薦語料庫中的每一語料與所述會話歷史記錄的第二相似度；第三計算模塊，用于基于所述第一相似度和所述第二相似度計算所述每一語料與所述提問內容的匹配度；推薦模塊，用于基于所述匹配度推薦所述語料。