[發明專利]用于動態顯示處理文本數據的評估系統的用戶界面的系統和方法

在審

• 申請號: 202080041340.2
• 申請日: 2020-04-03
• 公開（公告）號: CN114175062A
• 公開（公告）日: 2022-03-11
• 發明（設計）人: C·劉;J·特雷西;D·C·赫本泰爾;C·J·薩雷托;R·克林肯比爾德
• 申請（專利權）人: 雷克斯股份有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 張鑫

一種用于動態顯示被配置為評估由機器學習系統生成的預測答案的評估系統的用戶界面的方法和系統。方法包括接收文本數據和對與文本對象相關聯的問題的預測答案。文本對象包括結構化數據字段。預測答案包括置信水平。置信水平由機器學習系統基于機器學習系統的一個或多個模型和文本數據確定。響應于確定置信水平大于或等于預定置信閾值，存儲預測答案和引用以供檢取和顯示。響應于確定置信水平小于預定置信閾值，在用戶界面處向用戶顯示問題和與問題相關聯的文本對象以供輸入真實答案。

相關申請的交叉引用

本申請要求于2019年4月3日提交的題為“SYSTEMS AND METHODS FORDYNAMICALLY DISPLAYING A USER INTERFACE OF AN EVALUATION SYSTEM PROCESSINGTEXTUAL DATA(用于動態顯示處理文本數據的評估系統的用戶界面的系統和方法)”的美國臨時專利申請第62/828,876號的優先權，其通過引用整體并入本文。

背景技術

本發明的某些實施例涉及處理文本數據的評估系統。更具體地，本發明的一些實施例提供了用于動態顯示處理文本數據的評估系統的用戶界面的系統和方法。

隨著對處理文本數據和自然語言數據的需求的不斷增加，在對文本和自然語言數據以及被包括在大量文檔和文件中的其他信息進行分析和分類中通常采用機器學習(ML)系統。為確保ML系統預測的結果符合用戶指定的準確度和公差目標，結果需接受外部評估。然而，用于審查預測結果的常規評估系統通常涉及人類專家的多輪審查。此外，常規的評估系統通常要求人類專家在連續的基礎上審查文檔中的不同的感興趣區域，識別關于預測結果的錯誤，和/或校正預測結果。人類專家的連續審查是勞動密集型、耗時的，而且隨著需要評估的結果數量的增加，成本也會增加。

因此，非常期望提供和/或改進用于動態顯示處理文本數據的評估系統的用戶界面的技術。

發明內容

本發明的某些實施例涉及處理文本數據的評估系統。更具體地，本發明的一些實施例提供了用于動態顯示處理文本數據的評估系統的用戶界面的系統和方法。

根據一些實施例，一種用于動態顯示被配置為評估由機器學習系統生成的預測答案的評估系統的用戶界面的方法，方法包括接收文本數據和對與文本對象相關聯的問題的第一預測答案。文本對象包括文本數據的結構化數據字段。第一預測答案包括第一置信水平。第一置信水平由至少部分基于機器學習系統的一個或多個第一模型和文本數據的機器學習系統確定。響應于確定第一置信水平大于或等于第一預定置信閾值，將第一預測答案和引用存儲在存儲器中以供檢取和顯示。引用指示文本對象在文本數據中的位置。響應于確定置信水平小于第一預定置信閾值：在用戶界面上向用戶顯示問題和與問題相關聯的文本對象以供輸入真實答案；以及響應于確定置信水平大于或等于第二預定置信閾值，在用戶界面上顯示與文本對象相關的第一預測答案和上下文指導。響應于通過用戶界面接收到真實答案：至少部分地基于機器學習系統的一個或多個第一模型來確定與真實答案相關聯的第一準確度分數；至少部分地基于第一準確度分數改變第一預定置信閾值；以及第一準確度分數、真實答案以及引用被存儲在存儲器中以供檢取和顯示。第一預定置信閾值大于或等于第二預定置信閾值。