[發(fā)明專利]流量控制方法、裝置、設(shè)備和計算機存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202110470780.6
• 申請日: 2021-04-28
• 公開（公告）號: CN113225265B
• 公開（公告）日: 2022-10-28
• 發(fā)明（設(shè)計）人: 張濤;何中軍;李芝
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: H04L47/215
• 分類號: H04L47/215;H04L47/6275;H04L43/10
• 代理公司: 北京鴻德海業(yè)知識產(chǎn)權(quán)代理有限公司 11412
• 代理人: 田宏賓

本申請公開了一種流量控制方法、裝置、設(shè)備和計算機存儲介質(zhì)，涉及人工智能技術(shù)領(lǐng)域中的深度學(xué)習(xí)技術(shù)。應(yīng)用于包含M個等級的計算資源，每個計算資源對應(yīng)有至少N個隊列，所述M為正整數(shù)，所述N為大于1的正整數(shù)；具體實現(xiàn)方案為：接收服務(wù)請求；確定所述服務(wù)請求適用的計算資源等級；依據(jù)所述服務(wù)請求的產(chǎn)品形式、應(yīng)用形式以及服務(wù)等級中的至少一種，從所述計算資源等級對應(yīng)的至少N個隊列中確定對應(yīng)的隊列；將所述服務(wù)請求發(fā)送至確定的隊列；其中，所述各隊列被配置有權(quán)值，以便計算資源對對應(yīng)的各隊列按照權(quán)值進行輪詢。本申請能夠合理地實現(xiàn)流量控制，降低計算資源的浪費和部署成本。

技術(shù)領(lǐng)域

本公開涉及計算機應(yīng)用技術(shù)領(lǐng)域，尤其涉及人工智能技術(shù)領(lǐng)域中的深度學(xué)習(xí)技術(shù)。

背景技術(shù)

機器翻譯是利用計算機將自然語言轉(zhuǎn)換為另外一種自然語言的過程，是人工智能的重要目標，具有重要的科學(xué)研究價值。同時，機器翻譯又具有重要的實用價值。隨著經(jīng)濟全球化及互聯(lián)網(wǎng)的飛速發(fā)展，機器翻譯技術(shù)在促進政治、經(jīng)濟、文化交流以及人們的生產(chǎn)生活等方面起到越來越重要的作用。

隨著機器翻譯進入深度學(xué)習(xí)時代以來，翻譯質(zhì)量顯著提升，但其來帶的問題也是明顯的。為了提供線上服務(wù)需要部署大量的計算資源，但隨著翻譯服務(wù)產(chǎn)品形式和應(yīng)用形式具有多樣性，各產(chǎn)品和應(yīng)用形式都有著無法預(yù)期的流量上漲，給每個產(chǎn)品、每種應(yīng)用形式采用獨立部署計算資源的方式來獲得產(chǎn)品、應(yīng)用之間的隔離性，從而實現(xiàn)合理地流量控制，會帶來極大的計算資源的浪費，且致使成本太高。

發(fā)明內(nèi)容

有鑒于此，本公開提供了一種流量控制方法、裝置、設(shè)備和計算機存儲介質(zhì)，以便于合理地實現(xiàn)流量控制，降低計算資源的浪費和部署成本。

根據(jù)本公開的第一方面，提供了一種流量控制方法，應(yīng)用于包含M個等級的計算資源，每個計算資源對應(yīng)有至少N個隊列，所述M為正整數(shù)，所述N為大于1的正整數(shù)；該方法包括：

接收服務(wù)請求；

確定所述服務(wù)請求適用的計算資源等級；

依據(jù)所述服務(wù)請求的產(chǎn)品形式、應(yīng)用形式以及服務(wù)等級中的至少一種，從所述計算資源等級對應(yīng)的至少N個隊列中確定對應(yīng)的隊列；

將所述服務(wù)請求發(fā)送至確定的隊列；

其中，所述各隊列被配置有權(quán)值，以便計算資源對對應(yīng)的各隊列按照權(quán)值進行輪詢。

根據(jù)本公開的第二方面，提供了一種流量控制裝置，應(yīng)用于包含M個等級的計算資源，每個計算資源對應(yīng)有至少N個隊列，所述M為正整數(shù)，所述N為大于1的正整數(shù)；該裝置包括：

請求接收單元，用于接收服務(wù)請求；

自適應(yīng)限流單元，用于確定所述服務(wù)請求適用的計算資源等級；

多隊列隔離單元，用于依據(jù)所述服務(wù)請求的產(chǎn)品形式、應(yīng)用形式以及服務(wù)等級中的至少一種，從所述計算資源等級對應(yīng)的至少N個隊列中確定對應(yīng)的隊列；將所述服務(wù)請求發(fā)送至確定的隊列；

其中，所述各隊列被配置有權(quán)值，以便計算資源對對應(yīng)的各隊列按照權(quán)值進行輪詢。

根據(jù)本公開的第三方面，提供了一種電子設(shè)備，包括：

至少一個處理器；以及

與所述至少一個處理器通信連接的存儲器；其中，

所述存儲器存儲有可被所述至少一個處理器執(zhí)行的指令，所述指令被所述至少一個處理器執(zhí)行，以使所述至少一個處理器能夠執(zhí)行如上所述的方法。

根據(jù)本公開的第四方面，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質(zhì)，其中，所述計算機指令用于使所述計算機執(zhí)行如上所述的方法。