[發明專利]交互系統評價方法、評價系統、服務器及計算機可讀介質

有效

• 申請號: 201811341132.5
• 申請日: 2018-11-12
• 公開（公告）號: CN109545185B
• 公開（公告）日: 2022-03-18
• 發明（設計）人: 孫玉梅;羅榮剛
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司;上海小度技術有限公司
• 主分類號: G06F40/35
• 分類號: G06F40/35
• 代理公司: 北京天昊聯合知識產權代理有限公司 11112
• 代理人: 彭瑞欣;汪源

本公開提供了一種交互系統評價方法，包括：獲取交互系統的交互日志，所述交互日志中記載有多個交互輸入和所述交互系統根據所述交互輸入識別出的第一意圖；針對至少部分交互輸入中的每一個，根據該交互輸入和與該交互輸入相鄰的至少一個交互輸入，分析出該交互輸入對應的第二意圖；針對至少部分交互輸入中的每一個，將其對應的第二意圖與所述交互系統識別出的第一意圖進行比較；根據全部比較結果生成第一評價結果。本公開還提供了評價系統、服務器及計算機可讀介質。

技術領域

本公開實施例涉及語音交互技術領域，特別涉及交互系統評價方法、評價系統、服務器及計算機可讀介質。

背景技術

智能語音交互是基于語音輸入的新一代交互模式，用戶通過對交互系統說話就可以得到相應的反饋結果。在現有技術中，通常通過人工手段來評價交互系統的交互能力。

發明內容

本公開實施例提供一種交互系統評價方法、評價系統、服務器及計算機可讀介質。

第一方面，本公開實施例提供一種交互系統評價方法，該交互系統評價方法包括：

獲取交互系統的交互日志，所述交互日志中記載有多個交互輸入和所述交互系統根據所述交互輸入識別出的第一意圖；

針對至少部分交互輸入中的每一個，根據該交互輸入和與該交互輸入相鄰的至少一個交互輸入，分析出該交互輸入對應的第二意圖；

針對至少部分交互輸入中的每一個，將其對應的第二意圖與所述交互系統識別出的第一意圖進行比較；

根據全部比較結果生成第一評價結果。

在一些實施例中，所述交互輸入包括音頻信息，所述根據該交互輸入和與該交互輸入相鄰的至少一個交互輸入，分析出該交互輸入對應的第二意圖包括：

獲取根據該交互輸入轉換出的第一文字信息，以及根據與該交互輸入相鄰的至少一個交互輸入轉換出的第二文字信息；

根據所述第一文字信息和所述第二文字信息，確定出該交互輸入對應的第二意圖。

在一些實施例中，所述根據該交互輸入和與該交互輸入相鄰的至少一個交互輸入，分析出該交互輸入對應的第二意圖包括：

至少根據與該交互輸入相鄰的至少一個交互輸入，分析出該交互輸入對應的話題領域；

根據該交互輸入和所述話題領域對應的分析規則，分析出該交互輸入對應的第二意圖。

在一些實施例中，所述根據該交互輸入和與該交互輸入相鄰的至少一個交互輸入，分析出該交互輸入對應的第二意圖包括：

至少根據與該交互輸入相鄰的至少一個交互輸入，分析出該交互輸入對應的語言習慣屬性；

根據該交互輸入和所述語言習慣屬性對應的分析規則，分析出該交互輸入對應的第二意圖。

在一些實施例中，所述針對至少部分交互輸入中的每一個，將其對應的第二意圖與所述交互系統識別出的第一意圖進行比較包括：

根據所述第二意圖和所述第一意圖，計算出所述第二意圖與所述第一意圖的相似度；

根據所述相似度生成比較結果。

在一些實施例中，所述交互輸入包括音頻信息，所述交互日志中還記載有交互系統根據交互輸入轉換出的文字信息，所述方法還包括：

針對至少部分交互輸入中的每一個，驗證交互系統轉換出的文字信息是否存在錯誤，并在驗證出交互系統轉換出的文字信息存在錯誤時，根據預設的錯誤分析模型分析出所述錯誤對應的錯誤類別；

根據預先設置的錯誤類別和評價值的對應關系，查找出錯誤類別對應的評價值；