[發明專利]輔助理解的對話系統人工評估方法、裝置及存儲介質

有效

• 申請號: 202210436767.3
• 申請日: 2022-04-25
• 公開（公告）號: CN114528821B
• 公開（公告）日: 2022-09-06
• 發明（設計）人: 李華慶;何向南;向元新
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06F40/205
• 分類號: G06F40/205;G06F40/186
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 鄭立明;韓珂

1.一種輔助理解的對話系統人工評估方法，其特征在于，包括：

從已有的評估標準中篩選出若干對話評估標準，構建評估標準框架，生成基礎評估模板；其中，基礎評估模板包含對話歷史和對話回復，以及評分區域，所述評分區域包含篩選出的對話評估標準；

參考閱讀理解考核方式設計閱讀問題，在所述基礎評估模板上，將閱讀問題嵌入至待評估的對話內容中，生成包含閱讀問題的評估模板并提供給參與對話系統人工評估的工人；

接收各工人填寫的包含閱讀問題的評估模板，從中提取閱讀問題的作答結果，利用閱讀問題的作答結果進行工人篩選，從篩選出的工人填寫的包含閱讀問題的評估模板中提取對話內容的評估結果作為人工評估的結果；

其中，所述參考閱讀理解考核方式設計閱讀問題，在所述基礎評估模板上，將閱讀問題嵌入至待評估的對話內容中包括：參考閱讀理解考核方式設計缺失句子選擇策略與對話內容排序策略；根據待評估的對話內容，選擇任一策略，基于所選擇的策略產生相應的閱讀問題，并嵌入至待評估的對話內容中；當選擇缺失句子選擇策略時，對于待評估的對話內容，選擇指定位置A處的句子作為單選試題，選項包括待評估的對話內容中指定位置A處的原有句子，以及從數據集中隨機選出的一個句子；當選擇對話內容排序策略時，對于待評估的對話內容，將句子隨機打亂，并要求工人進行重新排序。

2.根據權利要求1所述的一種輔助理解的對話系統人工評估方法，其特征在于，從已有的評估標準中篩選出若干對話評估標準包括：Readability、 Relevance、Consistency、Informativeness與Naturalness，五個評估標準分別對應的表示可讀性、相關性、一致性、信息性與自然性。

3.根據權利要求1所述的一種輔助理解的對話系統人工評估方法，其特征在于，所述根據待評估的對話內容，選擇任一策略包括：

當待評估的對話內容的對話輪數大于等于設定值時，選擇缺失句子選擇策略或者對話內容排序策略；

當待評估的對話內容的對話輪數小于設定值時，選擇缺失句子選擇策略。

4.一種輔助理解的對話系統人工評估裝置，其特征在于，基于權利要求1~3任一項所述的方法實現，包括：

評估標準篩選與基礎評估模板生成單元，用于從已有的評估標準中篩選出若干對話評估標準，構建評估標準框架，生成基礎評估模板；

閱讀問題嵌入單元，用于參考閱讀理解考核方式設計閱讀問題，在所述基礎評估模板上，將閱讀問題嵌入至待評估的對話內容中，生成包含閱讀問題的評估模板并提供給參與對話系統人工評估的工人；

評估結果篩選單元，用于接收各工人填寫的包含閱讀問題的評估模板，從中提取閱讀問題的作答結果，利用閱讀問題的作答結果進行工人篩選，從篩選出的工人填寫的包含閱讀問題的評估模板中提取對話內容的評估結果作為人工評估的結果。

5.一種處理設備，其特征在于，包括：一個或多個處理器；存儲器，用于存儲一個或多個程序；

其中，當所述一個或多個程序被所述一個或多個處理器執行時，使得所述一個或多個處理器實現如權利要求1~3任一項所述的方法。

6.一種可讀存儲介質，存儲有計算機程序，其特征在于，當計算機程序被處理器執行時實現如權利要求1~3任一項所述的方法。