[發(fā)明專利]RPA與AI結合的數(shù)據(jù)處理方法、設備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011133837.5
• 申請日: 2020-10-21
• 公開（公告）號: CN112256850A
• 公開（公告）日: 2021-01-22
• 發(fā)明（設計）人: 李明超;徐寧;胡一川;汪冠春
• 申請（專利權）人: 北京來也網(wǎng)絡科技有限公司;北京奔影網(wǎng)絡科技有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06N5/02;G06K9/62
• 代理公司: 北京清亦華知識產(chǎn)權代理事務所(普通合伙) 11201
• 代理人: 張大威

1.一種RPA與AI結合的數(shù)據(jù)處理方法，其特征在于，包括：

接收用戶的開始請求，基于所述開始請求確定測試的目標知識點；

基于自然語言處理NLP對所述目標知識點基于留一法進行測試，獲得測試結果；

根據(jù)所述測試結果，確定并輸出召回率和準確率。

2.根據(jù)權利要求1所述的方法，其特征在于，所述目標知識點包括至少三個問題；

在所述對所述目標知識點基于留一法進行測試之前，所述方法還包括：

確定召回對應的置信度閾值；

所述根據(jù)所述測試結果，確定并輸出召回率和準確率，包括：

根據(jù)所述測試結果，確定并輸出所述置信度閾值對應的召回率和準確率。

3.根據(jù)權利要求2所述的方法，其特征在于，所述置信度閾值為多個；

所述基于自然語言處理NLP對所述目標知識點基于留一法進行測試，獲得測試結果，包括：

針對所述目標知識點中的每個問題，將所述問題抽出，并將所述問題與所述目標知識點中的剩余問題進行匹配，若所述問題與至少一個所述剩余問題的置信度達到所述置信度閾值，則確定所述問題的召回結果為被召回；將所述目標知識點中各問題的召回結果作為所述置信度閾值對應的測試結果，所述召回結果包括被召回和未被召回；

所述根據(jù)所述測試結果，確定并輸出所述置信度閾值對應的召回率和準確率，包括：

對于每個置信度閾值，將被召回的問題數(shù)量與問題的總數(shù)量的比值，作為所述置信度閾值對應的召回率；將被召回正確的問題數(shù)量與被召回的問題數(shù)量的比值，作為所述置信度閾值對應的準確率；

輸出各所述置信度閾值對應的召回率和準確率。

4.根據(jù)權利要求2所述的方法，其特征在于，根據(jù)所述測試結果，確定準確率，包括：

對于被召回的每個問題，獲取所述問題所屬的知識點以及與所述問題的置信度達到所述置信度閾值的各第一知識點，若所述問題所屬的知識點為第i個第一知識點，則確定所述問題在第i個第一知識點中被正確召回，i＝1,2，…，N，第i個第一知識點的置信度大于第i+1個第一知識點的置信度；

根據(jù)各所述問題被正確召回所在的第一知識點的排名，確定TOPi準確率。

5.根據(jù)權利要求4所述的方法，其特征在于，所述根據(jù)各所述問題被正確召回所在的第一知識點的排名，確定TOPi準確率，包括：

TOPi準確率＝(M1+M2+,…，+M(i-1)+Mi)/M；其中，Mi表示在第i個第一知識點中被正確召回的問題的數(shù)量，M表示被召回的問題數(shù)量。

6.根據(jù)權利要求1所述的方法，其特征在于，每個知識點包括一個標準問題和至少一個相似問題，所述方法還包括：

接收用戶的錯誤相似問題查看請求，所述錯誤相似問題查看請求包括用戶要查看的目標置信度閾值；

根據(jù)所述錯誤相似問題查看請求，獲取并輸出所述目標置信度閾值對應的召回錯誤的相似問題。

7.根據(jù)權利要求6所述的方法，其特征在于，所述方法還包括：

接收用戶的錯配情況查看請求，所述錯配情況查看請求包括用戶要查看的第二知識點；

根據(jù)所述錯配情況查看請求，獲取并輸出所述第二知識點中每個錯配相似問題的錯配信息。

8.一種RPA與AI結合的數(shù)據(jù)處理裝置，其特征在于，包括：

接收模塊，用于接收用戶的開始請求，基于所述開始請求確定測試的目標知識點；

測試模塊，用于基于自然語言處理NLP對所述目標知識點基于留一法進行測試，獲得測試結果；

處理模塊，用于根據(jù)所述測試結果，確定并輸出召回率和準確率。

9.一種電子設備，其特征在于，包括：至少一個處理器和存儲器；

所述存儲器存儲計算機執(zhí)行指令；

所述至少一個處理器執(zhí)行所述存儲器存儲的計算機執(zhí)行指令，使得所述至少一個處理器執(zhí)行如權利要求1-7任一項所述的RPA與AI結合的數(shù)據(jù)處理方法。

10.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)中存儲有計算機執(zhí)行指令，當處理器執(zhí)行所述計算機執(zhí)行指令時，實現(xiàn)如權利要求1-7任一項所述的RPA與AI結合的數(shù)據(jù)處理方法。