[發(fā)明專利]使用AI調(diào)用預(yù)測和緩存的方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201980097937.6
• 申請日: 2019-07-05
• 公開（公告）號: CN114026837A
• 公開（公告）日: 2022-02-08
• 發(fā)明（設(shè)計）人: H·宋;谷雨
• 申請（專利權(quán)）人: 維薩國際服務(wù)協(xié)會
• 主分類號: H04M3/42
• 分類號: H04M3/42
• 代理公司: 上海專利商標(biāo)事務(wù)所有限公司 31100
• 代理人: 徐倩;錢慰民

公開了預(yù)測和處理可緩存AI調(diào)用的方法和系統(tǒng)。一種方法包括由調(diào)用預(yù)測處理計算機(jī)確定AI計算機(jī)在閾值處理器使用率以下操作。然后，所述方法包括由所述調(diào)用預(yù)測處理計算機(jī)從編排服務(wù)計算機(jī)請求一組可緩存請求，并且從所述編排服務(wù)計算機(jī)接收所述一組可緩存請求。然后，所述方法包括由所述調(diào)用預(yù)測處理計算機(jī)將來自所述一組可緩存請求的可緩存請求發(fā)送給所述AI計算機(jī)。然后，所述方法包括由所述調(diào)用預(yù)測處理計算機(jī)接收輸出。所述輸出由所述AI計算機(jī)基于所述可緩存請求生成。然后，所述調(diào)用預(yù)測處理計算機(jī)將所述輸出存儲在數(shù)據(jù)存儲庫中。

相關(guān)申請的交叉引用

無。

背景技術(shù)

隨著人工智能(AI)技術(shù)(例如機(jī)器學(xué)習(xí)、自然語言處理和知識表示)的進(jìn)步，它們變得越來越重要。AI智能可用于分析如氣象預(yù)測、商業(yè)決策和天文理論等各種各樣的主題。然而，AI模型的運行成本可能非常高，需要大量的處理能力，這些處理能力可能意味著昂貴的服務(wù)器、空間和能源。個人可能沒有資源來運行復(fù)雜的機(jī)器學(xué)習(xí)模型，因此可能依靠具有超級計算機(jī)或大型計算集群的服務(wù)，這些服務(wù)可以為他們處理數(shù)據(jù)和運行模型。這樣，AI計算服務(wù)可能想要優(yōu)化其服務(wù)。具體地說，它們想要進(jìn)行優(yōu)化以免浪費寶貴的處理時間，并且確保服務(wù)可以擴(kuò)展以處理來自大量客戶端的查詢。在高峰期期間，可能接收大量預(yù)測請求，并且每個預(yù)測請求可能需要一個或多個模型長時間運行。這會導(dǎo)致系統(tǒng)負(fù)擔(dān)和長時間的等待。相反，在非高峰期，可能出現(xiàn)很少的請求，從而使系統(tǒng)有大量空閑時間。在高峰期增加處理能力以支持高需求是很昂貴的，并且可能使非高峰期期間的空閑處理能力增加。

在先前系統(tǒng)中，用戶可以將對預(yù)測的請求發(fā)送給計算機(jī)。計算機(jī)可以檢取與預(yù)測請求有關(guān)的上下文數(shù)據(jù)，然后將預(yù)測請求發(fā)送給AI計算機(jī)。AI計算機(jī)可以處理預(yù)測請求并且生成輸出。然后通過計算機(jī)將輸出返回到用戶裝置。因此，AI計算機(jī)的工作受限于從用戶裝置接收的請求。

實施例單獨地以及共同地解決了這些和其它問題。

發(fā)明內(nèi)容

一種實施例包括由調(diào)用預(yù)測處理計算機(jī)確定AI計算機(jī)在閾值處理器使用率以下操作。然后，所述方法包括由所述調(diào)用預(yù)測處理計算機(jī)從編排服務(wù)計算機(jī)請求一組可緩存請求，并且由所述調(diào)用預(yù)測處理計算機(jī)從所述編排服務(wù)計算機(jī)接收所述一組可緩存請求。然后，所述方法包括由所述調(diào)用預(yù)測處理計算機(jī)將來自所述一組可緩存請求的可緩存請求發(fā)送給所述AI計算機(jī)。然后，所述方法包括由所述調(diào)用預(yù)測處理計算機(jī)接收輸出，其中所述輸出由所述AI計算機(jī)基于所述可緩存請求生成；以及由所述調(diào)用預(yù)測處理計算機(jī)發(fā)起將所述輸出存儲在數(shù)據(jù)存儲庫中。

另一實施例包括一種系統(tǒng)，所述系統(tǒng)包括調(diào)用預(yù)測處理計算機(jī)，所述調(diào)用預(yù)測處理計算機(jī)包括處理器和計算機(jī)可讀介質(zhì)，所述計算機(jī)可讀介質(zhì)包括用于實施方法的代碼，所述方法包括確定AI計算機(jī)在閾值處理器使用率以下操作。然后，所述方法包括從編排服務(wù)計算機(jī)請求一組可緩存請求，以及從所述編排服務(wù)計算機(jī)接收所述一組可緩存請求。然后，所述方法包括將來自所述一組可緩存請求的可緩存請求發(fā)送給所述AI計算機(jī)。然后，所述方法包括接收輸出，其中所述輸出由所述AI計算機(jī)基于所述可緩存請求生成，以及發(fā)起將所述輸出存儲在數(shù)據(jù)存儲庫中。

另一實施例包括由編排服務(wù)計算機(jī)從用戶裝置接收包括呈AI調(diào)用形式的預(yù)測請求的預(yù)測請求消息，以及由所述編排服務(wù)計算機(jī)確定所述預(yù)測請求是可緩存請求。然后，所述方法包括由所述編排服務(wù)計算機(jī)從數(shù)據(jù)存儲庫檢取上下文數(shù)據(jù)，以及由所述編排服務(wù)計算機(jī)修改所述預(yù)測請求消息以包括所述上下文數(shù)據(jù)。所述方法還包括由所述編排服務(wù)計算機(jī)將所述預(yù)測請求消息發(fā)送給AI計算機(jī)，所述預(yù)測請求消息包括所述AI調(diào)用和所述上下文數(shù)據(jù)。然后，所述方法包括由所述編排服務(wù)計算機(jī)從所述AI計算機(jī)接收響應(yīng)于所述預(yù)測請求消息的輸出，以及由所述編排服務(wù)計算機(jī)將所述輸出發(fā)送給所述用戶裝置。然后，所述方法包括由所述編排服務(wù)計算機(jī)發(fā)起所述預(yù)測請求和所述輸出在所述數(shù)據(jù)存儲庫中的存儲。