[發明專利]用于機器學習系統的自適應訓練的系統和方法

有效

• 申請號: 202080041399.1
• 申請日: 2020-04-03
• 公開（公告）號: CN114175063B
• 公開（公告）日: 2023-02-03
• 發明（設計）人: D·C·赫本泰爾;C·J·薩雷托;J·特雷西;R·克林肯比爾德;C·劉
• 申請（專利權）人: 雷克斯股份有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 張鑫

用于處理文本數據的機器學習系統的自適應訓練的系統和方法。例如，一種用于被配置為預測對與文本數據相關聯的問題的答案的機器學習系統的自適應訓練的方法，包括接收與文本數據相關聯的問題的預測答案。預測答案至少部分地基于機器學習系統的一個或多個第一模型生成。一個或多個第一模型與第一準確度分數相關聯。該方法進一步包括基于質量控制參數確定是否需要由一個或多個外部實體對問題進行評估。響應于基于質量控制參數確定需要由一個或多個外部實體對問題進行評估，將與文本數據和文本數據相關聯的問題發送到一個或多個外部實體進行評估。

相關申請的交叉引用

本申請要求于2019年4月3日提交的題為“SYSTEMS AND METHODS FOR ADAPTIVETRAINING OF A MACHINE LEARNING SYSTEM PROCESSING TEXTUAL DATA(用于處理文本數據的機器學習系統的自適應訓練的系統和方法)”的美國臨時專利申請第62/828,872號的優先權，其通過引用整體并入本文。

背景技術

本發明的某些實施例涉及處理文本數據的機器學習系統。更具體地，本發明的一些實施例提供了用于處理文本數據的機器學習系統的自適應訓練的系統和方法。

隨著對文本和自然語言數據處理需求的不斷增加，機器學習系統通常用于對文本和自然語言數據以及被包括在大量文檔和文件中的其他信息分析和分類。機器學習(ML)系統包括預測模塊，通常基于當前已知的真實答案對預測模塊進行訓練直到某個時間點。然而，外部因素可能影響由基于訓練模型的常規ML系統所預測的答案的準確度。因此，例如，預測答案的實際準確度隨著時間的推移而降低，盡管由常規ML系統所計算的每個預測答案的置信度仍然很高。因此，常規ML系統通常需要在連續的基礎上識別預測結果的不準確性，收集用于訓練模型的附加數據，以及重新訓練模型。常規ML系統的連續訓練是勞動密集型的、耗時的，并且隨著訓練數據量的增加而變得更加復雜。

因此，非常期望提供和/或改進用于處理文本數據的機器學習系統的自適應訓練的技術。

發明內容

本發明的某些實施例涉及處理文本數據的機器學習系統。更具體地，本發明的一些實施例提供了用于處理文本數據的機器學習系統的自適應訓練的系統和方法。

根據一些實施例，一種用于被配置為預測對與文本數據相關聯的問題的答案的機器學習系統的自適應訓練的方法包括接收與文本數據相關聯的問題的預測答案。預測答案至少部分基于機器學習系統的一個或多個第一模型生成。一個或多個第一模型與第一準確度分數相關聯。該方法進一步包括至少地基于質量控制參數確定是否需要由一個或多個外部實體對問題進行評估。響應于至少部分地基于質量控制參數確定需要由一個或多個外部實體對問題進行評估，將文本數據和與文本數據相關聯的問題發送到一個或多個外部實體進行評估。該方法進一步包括從一個或多個外部實體接收問題的真實答案以及至少部分地基于真實答案和預測答案確定一個或多個準確度參數。響應于一個或多個準確度參數小于預定最小閾值，識別準確度降低事件，并且增加質量控制參數。響應于至少一個問題的真實計數大于第一預定真實閾值，生成一個或多個第二模型，并且確定與該一個或多個第二模型相關聯的第二準確度分數。響應于第二準確度分數大于與一個或多個第一模型相關聯的第一準確度分數，在機器學習系統處利用一個或多個第二模型替換一個或多個第一模型。