[發明專利]交互系統評價方法、評價系統、服務器及計算機可讀介質

有效

• 申請號: 201811341132.5
• 申請日: 2018-11-12
• 公開（公告）號: CN109545185B
• 公開（公告）日: 2022-03-18
• 發明（設計）人: 孫玉梅;羅榮剛
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司;上海小度技術有限公司
• 主分類號: G06F40/35
• 分類號: G06F40/35
• 代理公司: 北京天昊聯合知識產權代理有限公司 11112
• 代理人: 彭瑞欣;汪源

1.一種交互系統評價方法，包括：

獲取交互系統的交互日志，所述交互日志中記載有多個交互輸入和所述交互系統根據所述交互輸入識別出的第一意圖；

針對至少部分交互輸入中的每一個，根據該交互輸入和與該交互輸入相鄰的至少一個交互輸入，分析出該交互輸入對應的第二意圖；

針對至少部分交互輸入中的每一個，將其對應的第二意圖與所述交互系統識別出的第一意圖進行比較；

根據全部比較結果生成第一評價結果。

2.根據權利要求1所述的交互系統評價方法，其中，所述交互輸入包括音頻信息，所述根據該交互輸入和與該交互輸入相鄰的至少一個交互輸入，分析出該交互輸入對應的第二意圖包括：

獲取根據該交互輸入轉換出的第一文字信息，以及根據與該交互輸入相鄰的至少一個交互輸入轉換出的第二文字信息；

根據所述第一文字信息和所述第二文字信息，確定出該交互輸入對應的第二意圖。

3.根據權利要求1所述的交互系統評價方法，其中，所述根據該交互輸入和與該交互輸入相鄰的至少一個交互輸入，分析出該交互輸入對應的第二意圖包括：

至少根據與該交互輸入相鄰的至少一個交互輸入，分析出該交互輸入對應的話題領域；

根據該交互輸入和所述話題領域對應的分析規則，分析出該交互輸入對應的第二意圖。

4.根據權利要求1所述的交互系統評價方法，其中，所述根據該交互輸入和與該交互輸入相鄰的至少一個交互輸入，分析出該交互輸入對應的第二意圖包括：

至少根據與該交互輸入相鄰的至少一個交互輸入，分析出該交互輸入對應的語言習慣屬性；

根據該交互輸入和所述語言習慣屬性對應的分析規則，分析出該交互輸入對應的第二意圖。

5.根據權利要求1所述的交互系統評價方法，其中，所述針對至少部分交互輸入中的每一個，將其對應的第二意圖與所述交互系統識別出的第一意圖進行比較包括：

根據所述第二意圖和所述第一意圖，計算出所述第二意圖與所述第一意圖的相似度；

根據所述相似度生成比較結果。

6.根據權利要求1所述的交互系統評價方法，其中，所述交互輸入包括音頻信息，所述交互日志中還記載有交互系統根據交互輸入轉換出的文字信息，所述方法還包括：

針對至少部分交互輸入中的每一個，驗證交互系統轉換出的文字信息是否存在錯誤，并在驗證出交互系統轉換出的文字信息存在錯誤時，根據預設的錯誤分析模型分析出所述錯誤對應的錯誤類別；

根據預先設置的錯誤類別和評價值的對應關系，查找出錯誤類別對應的評價值；

根據錯誤類別對應的評價值生成第二評價結果。

7.根據權利要求1所述的交互系統評價方法，其中，所述交互日志中還記載有交互系統根據至少部分交互輸入中的每一個產生的推薦內容，以及用戶針對該推薦內容的反饋動作，所述方法還包括：

根據至少部分用戶的反饋動作生成第三評價結果。

8.根據權利要求7所述交互系統評價方法，其中，所述推薦內容是交互系統根據設定的用戶人物畫像和交互輸入產生的；所述根據至少部分用戶的反饋動作生成第三評價結果包括：

根據至少部分用戶的反饋動作，評價所述用戶人物畫像的準確度；

根據所述用戶人物畫像的準確度生成第三評價結果。

9.根據權利要求1所述的交互系統評價方法，其中，所述交互輸入為音頻信息，所述交互日志中還記載有交互系統根據交互輸入識別出的第一語音識別結果，所述方法還包括：

針對至少部分交互輸入中的每一個，根據GMM-HMM語音識別算法識別出該交互輸入對應的第二語音識別結果；

針對至少部分交互輸入中的每一個，將其對應的第二語音識別結果與第一語音識別結果進行比對；

根據全部比對結果生成第四評價結果。