[發(fā)明專(zhuān)利]面向云邊計(jì)算的深度學(xué)習(xí)分布式編譯器及構(gòu)造方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110449381.1
• 申請(qǐng)日: 2021-04-25
• 公開(kāi)（公告）號(hào): CN113127203B
• 公開(kāi)（公告）日: 2022-06-14
• 發(fā)明（設(shè)計(jì)）人: 林偉偉;吳偉正
• 申請(qǐng)（專(zhuān)利權(quán)）人: 華南理工大學(xué)
• 主分類(lèi)號(hào): G06F9/50
• 分類(lèi)號(hào): G06F9/50;G06F9/48;G06F8/30;G06F8/41;G06N3/08
• 代理公司: 廣州市華學(xué)知識(shí)產(chǎn)權(quán)代理有限公司 44245
• 代理人: 李斌

本發(fā)明公開(kāi)了一種面向云邊計(jì)算的深度學(xué)習(xí)分布式編譯器及構(gòu)造方法，編譯器包括模型編譯框架和模型調(diào)度框架；模型編譯框架通過(guò)容器化深度學(xué)習(xí)編譯器和Kubernetes容器編排系統(tǒng)，完成分布式編譯多模型任務(wù)的工作；模型編譯框架能快速構(gòu)建深度學(xué)習(xí)分布式編譯器，充分利用服務(wù)器集群的優(yōu)勢(shì)來(lái)解決突發(fā)的大量編譯需求，克服了深度學(xué)習(xí)編譯器無(wú)法分布式編譯的不足；模型調(diào)度框架對(duì)模型編譯過(guò)程進(jìn)行資源分析，獲取模型運(yùn)行最高效的資源組合，并設(shè)計(jì)了Distributed?DRF調(diào)度算法來(lái)指導(dǎo)調(diào)度中間件來(lái)進(jìn)行調(diào)度決策，提高了資源分配的公平性和模型調(diào)度的準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明屬于深度學(xué)習(xí)編譯器和邊緣計(jì)算領(lǐng)域，特別涉及一種面向云邊計(jì)算的深度學(xué)習(xí)分布式編譯器及構(gòu)造方法。

背景技術(shù)

隨著邊緣計(jì)算的發(fā)展，云邊協(xié)同的時(shí)代已經(jīng)到來(lái)。人們已經(jīng)達(dá)成了某種共識(shí):那些在邊緣設(shè)備(edge device)與物聯(lián)網(wǎng)設(shè)備(IoT device)上實(shí)現(xiàn)了真正的智能的公司將定義計(jì)算的未來(lái)。深度學(xué)習(xí)模型在邊緣設(shè)備上的應(yīng)用非常廣泛，如手機(jī)上的人臉識(shí)別和車(chē)載系統(tǒng)的自動(dòng)駕駛等等。深度學(xué)習(xí)編譯器通過(guò)編譯優(yōu)化技術(shù)，能把各種深度學(xué)習(xí)模型編譯部署到邊緣設(shè)備上高效地運(yùn)行，極大地縮短了模型的推理時(shí)間。但深度學(xué)習(xí)編譯器在編譯優(yōu)化時(shí)，是一個(gè)典型的計(jì)算密集型應(yīng)用，會(huì)占用大量的CPU資源。通常，深度學(xué)習(xí)編譯器會(huì)在服務(wù)器端進(jìn)行編譯優(yōu)化工作，在邊緣設(shè)備端進(jìn)行模型部署運(yùn)行工作。

現(xiàn)如今的深度學(xué)習(xí)編譯器只能在單臺(tái)服務(wù)器上運(yùn)行，不支持分布式。而由于編譯優(yōu)化是一個(gè)非常消耗資源的過(guò)程，當(dāng)面臨大量的編譯需求時(shí)，單臺(tái)服務(wù)器將無(wú)法滿(mǎn)足。如果要在源碼上對(duì)深度學(xué)習(xí)編譯器進(jìn)行修改，研究員需要花費(fèi)巨大的工作量去閱讀和理解其源碼，并進(jìn)行長(zhǎng)時(shí)間的調(diào)試才能完成。如何將深度學(xué)習(xí)編譯器快速構(gòu)建成分布式應(yīng)用，充分利用服務(wù)器集群的優(yōu)勢(shì)來(lái)解決大量的編譯需求，是本發(fā)明面臨的挑戰(zhàn)之一。

不同的模型所需要的運(yùn)行資源也不相同。分配大量的資源給資源需求小的模型，會(huì)造成資源的浪費(fèi)。分配不足的資源給資源需求大的模型，會(huì)造成模型運(yùn)行時(shí)間過(guò)長(zhǎng)，甚至運(yùn)行失敗的可能。在資源有限的場(chǎng)景下，模型之間的資源競(jìng)爭(zhēng)也是影響模型運(yùn)行時(shí)間的一個(gè)很重要因素。當(dāng)深度學(xué)習(xí)分布式編譯器編譯好模型后，如何給編譯好的模型公平合理地分配資源，并將模型調(diào)度到合適的終端設(shè)備上運(yùn)行，也是一個(gè)挑戰(zhàn)。

DRF(Dominant Resource Fairness)調(diào)度算法是一種針對(duì)多種資源的一般化的max-min算法。DRF調(diào)度算法有如下優(yōu)點(diǎn):1)DRF調(diào)度算法鼓勵(lì)用戶(hù)共享資源，通過(guò)確保如果資源在用戶(hù)之間平均分配，則沒(méi)有用戶(hù)會(huì)過(guò)得更好。2)DRF調(diào)度算法是策略證明，因?yàn)橛脩?hù)不能通過(guò)謊報(bào)需求來(lái)增加分配。3)DRF是無(wú)嫉妒的，因?yàn)闆](méi)有用戶(hù)愿意將它的分配與另一個(gè)用戶(hù)的分配進(jìn)行交換。4)DRF分配是帕雷托有效的，因?yàn)樵诓粶p少另一個(gè)用戶(hù)的分配的情況下，不可能改善一個(gè)用戶(hù)的分配。DRF調(diào)度算法在進(jìn)行資源分配時(shí)，把不同設(shè)備上的資源當(dāng)作了一個(gè)整體進(jìn)行考慮，并沒(méi)有考慮分布式場(chǎng)景。而且DRF調(diào)度算法還沒(méi)有對(duì)模型任務(wù)的資源分配進(jìn)行實(shí)時(shí)跟蹤，這會(huì)導(dǎo)致模型任務(wù)的DS不準(zhǔn)確，不能如實(shí)地反應(yīng)模型任務(wù)之間的資源需求關(guān)系，從而導(dǎo)致資源分配的不公平和模型調(diào)度的不合理。此外，DRF調(diào)度算法沒(méi)有對(duì)設(shè)備的資源使用情況進(jìn)行實(shí)時(shí)跟蹤，這會(huì)導(dǎo)致模型運(yùn)行完釋放后的資源沒(méi)有得到充分的利用，造成資源的浪費(fèi)。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于克服現(xiàn)有技術(shù)的缺點(diǎn)與不足，提供一種面向云邊計(jì)算的深度學(xué)習(xí)分布式編譯器及構(gòu)造方法，能分布式地完成大量的多種模型編譯任務(wù)，并對(duì)編譯好的模型進(jìn)行公平合理的調(diào)度，達(dá)到降低等待時(shí)間，提高系統(tǒng)資源利用率的目的。

為了達(dá)到上述目的，本發(fā)明采用以下技術(shù)方案：

本發(fā)明一方面提供了一種面向云邊計(jì)算的深度學(xué)習(xí)分布式編譯器，包括模型編譯框架和模型調(diào)度框架；

所述模型編譯框架通過(guò)容器化深度學(xué)習(xí)編譯器和Kubernetes容器編排系統(tǒng)，完成分布式編譯多模型任務(wù)的工作；所述模型編譯框架用于速構(gòu)建成深度學(xué)習(xí)分布式編譯器，利用服務(wù)器集群的優(yōu)勢(shì)來(lái)解決大量的編譯需求；