[發明專利]用于機器學習系統的自適應訓練的系統和方法

有效

• 申請號: 202080041399.1
• 申請日: 2020-04-03
• 公開（公告）號: CN114175063B
• 公開（公告）日: 2023-02-03
• 發明（設計）人: D·C·赫本泰爾;C·J·薩雷托;J·特雷西;R·克林肯比爾德;C·劉
• 申請（專利權）人: 雷克斯股份有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 張鑫

1.一種用于被配置為預測與文本數據相關聯的問題的答案的機器學習系統的自適應訓練的方法，所述方法包括：

接收與文本數據相關聯的問題的預測答案，所述預測答案至少部分地基于機器學習系統的一個或多個第一模型生成，所述一個或多個第一模型與第一準確度分數相關聯；

至少部分地基于質量控制參數確定是否需要由一個或多個外部實體對所述問題進行評估；

響應于至少部分地基于所述質量控制參數確定需要由一個或多個外部實體對所述問題進行評估，將所述文本數據和與所述文本數據相關聯的所述問題發送到所述一個或多個外部實體進行評估；

從所述一個或多個外部實體接收所述問題的真實答案；

至少部分地基于所述真實答案和所述預測答案確定一個或多個準確度參數；

響應于所述一個或多個準確度參數小于預定最小閾值：

識別準確度降低事件；以及

增加所述質量控制參數；

響應于至少一個問題的真實計數大于第一預定真實閾值：

生成一個或多個第二模型，其中所述生成一個或多個第二模型包括至少部分地基于真實數據的一個或多個組合訓練所述一個或多個第二模型，所述真實數據包括所述真實答案和與所述真實答案相關聯的所述文本數據；以及

確定與所述一個或多個第二模型相關聯的第二準確度分數；以及響應于所述第二準確度分數大于與所述一個或多個第一模型相關聯的所述第一準確度分數，在所述機器學習系統處利用所述一個或多個第二模型替換所述一個或多個第一模型。

2.如權利要求1所述的方法，其特征在于，所述質量控制參數指示所需由所述一個或多個外部實體執行的評估的數量。

3.如權利要求2所述的方法，其特征在于，至少部分地基于質量控制參數確定是否需要由一個或多個外部實體對所述問題進行評估包括至少部分地基于所確定的一個或多個準確度參數增加所需評估的數量。

4.如權利要求1所述的方法，其特征在于，所述真實數據的一個或多個組合包括在識別所述準確度降低事件之后生成的真實數據。

5.如權利要求1所述的方法，其特征在于，所述真實數據的一個或多個組合包括在識別所述準確度降低事件之前和之后生成的真實數據。

6.如權利要求1所述的方法，其特征在于，確定與所述一個或多個第二模型相關聯第二準確度分數包括基于所述真實數據確定所述一個或多個第二模型中的每個模型的準確度分數。

7.如權利要求1所述的方法，其特征在于，如果所述一個或多個第二模型中的每個模型的準確度分數大于所述一個或多個第一模型中的每個模型的準確度分數，則所述第二準確度分數大于所述第一準確度分數。

8.如權利要求1所述的方法，進一步包括：

響應于所述第二準確度分數小于或等于所述第一準確度分數，等待所述真實計數進一步增加；以及

響應于所述真實計數大于第二預定真實閾值：

生成所述一個或多個第二模型；以及

確定與所述一個或多個第二模型相關聯的所述第二準確度分數。

9.如權利要求1所述的方法，進一步包括：

至少部分地基于質量控制參數確定是否需要由一個或多個外部實體對所述問題進行評估，直到所述準確度降低事件被清除。

10.如權利要求1所述的方法，進一步包括：

響應于所述一個或多個準確度參數等于或大于所述預定最小閾值，清除所述準確度降低事件。

11.如權利要求1所述的方法，其特征在于，響應于請求或推送事件接收對與文本數據相關聯的問題的所述預測答案。