[發(fā)明專利]模型實(shí)例化的動(dòng)態(tài)管理方法和裝置及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010950669.2
• 申請(qǐng)日: 2020-09-11
• 公開(kāi)（公告）號(hào): CN111813533B
• 公開(kāi)（公告）日: 2020-12-11
• 發(fā)明（設(shè)計(jì)）人: 段永耀;黃美靈
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G06F9/48
• 分類號(hào): G06F9/48;G06F9/52;G06N3/10;G06N20/00
• 代理公司: 北京康信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11240
• 代理人: 周婷婷

本發(fā)明公開(kāi)了一種人工智能場(chǎng)景下的模型實(shí)例化的動(dòng)態(tài)管理方法和裝置及存儲(chǔ)介質(zhì)，具體的，還涉及機(jī)械學(xué)習(xí)中的深度學(xué)習(xí)等技術(shù)。其中，該方法包括：在通過(guò)第一線程和第二線程第一次判斷出不存在第一模型的實(shí)例，對(duì)第一模型設(shè)置第一對(duì)象鎖；通過(guò)第一線程第二次判斷是否存在第一模型的實(shí)例，在通過(guò)第一線程第二次判斷不存在第一模型的實(shí)例的情況下，通過(guò)第一線程創(chuàng)建第一模型的第一實(shí)例；通過(guò)第二線程第二次判斷是否存在第一模型的實(shí)例，在通過(guò)第二線程第二次判斷存在第一實(shí)例的情況下，通過(guò)第二線程獲取第一實(shí)例。本發(fā)明解決了模型實(shí)例化的動(dòng)態(tài)管理效率較低的技術(shù)問(wèn)題。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)領(lǐng)域，具體而言，涉及一種模型實(shí)例化的動(dòng)態(tài)管理方法和裝置及存儲(chǔ)介質(zhì)。

背景技術(shù)

近年深度學(xué)習(xí)的飛速發(fā)展，引發(fā)了對(duì)更加合理的實(shí)例化方法的強(qiáng)烈需求。近年來(lái)深度學(xué)習(xí)在多種場(chǎng)景下獲得了引人注目的成就，比如圖像識(shí)別、自然語(yǔ)言處理、推薦系統(tǒng)。隨著應(yīng)用的廣泛，工業(yè)界和學(xué)術(shù)界的深度學(xué)習(xí)模型出現(xiàn)兩大趨勢(shì)，模型種類越來(lái)越多，模型參數(shù)越來(lái)越多。

那么如此多，如此大的模型，要怎么實(shí)例化，然后在線提供服務(wù)呢。現(xiàn)有的普遍方法是單例(Singleton Pattern)。單例確實(shí)是一種簡(jiǎn)單直觀的實(shí)例化方法，常用于實(shí)例化某種創(chuàng)建開(kāi)銷比較大的對(duì)象，如連接數(shù)據(jù)庫(kù)的客戶端等。但是單例的問(wèn)題也很尖銳，尤其是應(yīng)用于深度學(xué)習(xí)的在線服務(wù)時(shí)，面對(duì)短時(shí)間內(nèi)產(chǎn)生的大量服務(wù)請(qǐng)求，進(jìn)而導(dǎo)致多種相同模型建立多個(gè)單例，即浪費(fèi)了系統(tǒng)的存儲(chǔ)空間，又拉低了模型實(shí)例化的動(dòng)態(tài)管理效率。因此，存在模型實(shí)例化的動(dòng)態(tài)管理效率較低的問(wèn)題。

針對(duì)上述的問(wèn)題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了一種模型實(shí)例化的動(dòng)態(tài)管理方法和裝置及存儲(chǔ)介質(zhì)，以至少解決模型實(shí)例化的動(dòng)態(tài)管理效率較低的技術(shù)問(wèn)題。

根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供了一種模型實(shí)例化的動(dòng)態(tài)管理方法，包括：獲取第一服務(wù)請(qǐng)求和第二服務(wù)請(qǐng)求，其中，上述第一服務(wù)請(qǐng)求和上述第二服務(wù)請(qǐng)求用于請(qǐng)求在線提供的目標(biāo)服務(wù)；響應(yīng)于上述第一服務(wù)請(qǐng)求，使用第一線程請(qǐng)求調(diào)用第一模型，響應(yīng)于上述第二服務(wù)請(qǐng)求，使用第二線程請(qǐng)求調(diào)用上述第一模型，其中，上述第一模型為在線提供上述目標(biāo)服務(wù)的模型；在通過(guò)上述第一線程和上述第二線程第一次判斷出不存在上述第一模型的實(shí)例，對(duì)上述第一模型設(shè)置第一對(duì)象鎖，其中上述第一對(duì)象鎖用于將上述第一線程和上述第二線程設(shè)置為串行工作，在上述串行工作下上述第一線程優(yōu)先于上述第二線程工作；通過(guò)上述第一線程第二次判斷是否存在上述第一模型的實(shí)例，在通過(guò)上述第一線程第二次判斷不存在上述第一模型的實(shí)例的情況下，通過(guò)上述第一線程創(chuàng)建上述第一模型的第一實(shí)例；通過(guò)上述第二線程第二次判斷是否存在上述第一模型的實(shí)例，在通過(guò)上述第二線程第二次判斷存在上述第一實(shí)例的情況下，通過(guò)上述第二線程獲取上述第一實(shí)例。

根據(jù)本發(fā)明實(shí)施例的另一方面，還提供了一種模型實(shí)例化的動(dòng)態(tài)管理裝置，包括：第一獲取單元，用于獲取第一服務(wù)請(qǐng)求和第二服務(wù)請(qǐng)求，其中，上述第一服務(wù)請(qǐng)求和上述第二服務(wù)請(qǐng)求用于請(qǐng)求在線提供的目標(biāo)服務(wù)；響應(yīng)單元，用于響應(yīng)于上述第一服務(wù)請(qǐng)求，使用第一線程請(qǐng)求調(diào)用第一模型，響應(yīng)于上述第二服務(wù)請(qǐng)求，使用第二線程請(qǐng)求調(diào)用上述第一模型，其中，上述第一模型為在線提供上述目標(biāo)服務(wù)的模型；第一判斷單元，用于在通過(guò)上述第一線程和上述第二線程第一次判斷出不存在上述第一模型的實(shí)例，對(duì)上述第一模型設(shè)置第一對(duì)象鎖，其中上述第一對(duì)象鎖用于將上述第一線程和上述第二線程設(shè)置為串行工作，在上述串行工作下上述第一線程優(yōu)先于上述第二線程工作；第二判斷單元，用于通過(guò)上述第一線程第二次判斷是否存在上述第一模型的實(shí)例，在通過(guò)上述第一線程第二次判斷不存在上述第一模型的實(shí)例的情況下，通過(guò)上述第一線程創(chuàng)建上述第一模型的第一實(shí)例；第二獲取單元，用于通過(guò)上述第二線程第二次判斷是否存在上述第一模型的實(shí)例，在通過(guò)上述第二線程第二次判斷存在上述第一實(shí)例的情況下，通過(guò)上述第二線程獲取上述第一實(shí)例。