[發(fā)明專利]一種GPU資源調(diào)度方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202310085011.3
• 申請日: 2023-02-09
• 公開（公告）號: CN116402672A
• 公開（公告）日: 2023-07-07
• 發(fā)明（設(shè)計）人: 戴猛;馬元巍;潘正頤;侯大為;童竹勍
• 申請（專利權(quán)）人: 常州微億智造科技有限公司
• 主分類號: G06T1/20
• 分類號: G06T1/20;G06F9/50;G06N5/04
• 代理公司: 上海木衛(wèi)叁知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 31507
• 代理人: 廖斌

本發(fā)明公開了一種GPU資源調(diào)度方法及系統(tǒng)。包括步驟：生成配置文件，所述配置文件包括參數(shù)配置及模型權(quán)重系數(shù)；根據(jù)所述配置文件進行初始化；采集圖片及其現(xiàn)場設(shè)定的光學(xué)面信息；對所述圖片及所述光學(xué)面信息進行推理。采用本發(fā)明的GPU資源調(diào)度方法及系統(tǒng)，采用文件合并的方式，利用模型對應(yīng)的權(quán)重載入函數(shù)，將模型的權(quán)重系數(shù)加入到配置文件所包含的字典中，和其他配置信息一起形成一個字典的數(shù)據(jù)形式，并以pickle的文件格式進行保存，以此形式，基于本方案，在訓(xùn)練結(jié)束時，只需輸出一個文件，而現(xiàn)場的工程師也只需要一個文件即可完成部署，避免了文件管理帶來的效率問題。

技術(shù)領(lǐng)域

本發(fā)明涉及工業(yè)質(zhì)檢領(lǐng)域及計算機領(lǐng)域，尤其涉及一種GPU資源調(diào)度方法及系統(tǒng)。

背景技術(shù)

目前，工廠中部署的缺陷檢測模型在進行推理時，由于機器發(fā)送的圖片來自不同的光學(xué)面，圖像的尺寸不固定，使得為其提供推理服務(wù)的深度學(xué)習(xí)模型系統(tǒng)必須能接受動態(tài)的圖片尺寸，目前常規(guī)的深度學(xué)習(xí)批處理無法應(yīng)對這種情況；同時，不同光學(xué)面的圖片需要被不同的模型組合進行處理，而GPU對于模型的加載和資源釋放都需要時間成本，而推理服務(wù)對于推理速度的要求是必要且苛刻的，如果推理服務(wù)啟動時有大量的資源未被利用，在生產(chǎn)中會大大降低生產(chǎn)速度。

在現(xiàn)有技術(shù)實際的推理場景下，同一個顯卡的計算資源允許多個模型的線程同時訪問，但需要根據(jù)顯卡的顯存來設(shè)置每個模型在該顯卡上推理時所允許的最大線程數(shù)。如果線程數(shù)過大，同時推理時模型所占用的顯存資源超過顯卡的實際顯存，則無法推理。計算資源配置相同的機器可以使用同一個配置文件進行推理，因此以字典形式存儲模型和顯卡的最優(yōu)配置非常適合工廠中批量質(zhì)檢的場景，只要在一臺機器上實驗出效率最高的模型、顯卡、最大線程數(shù)，就可以將同樣的參數(shù)批量配置在擁有同樣硬件配置的機器上。

且在現(xiàn)有技術(shù)的生產(chǎn)方式中，現(xiàn)場的工程師在部署時需要配置多個文件，因為過去的配置文件僅僅包含了模型文件的權(quán)重路徑，但一個方案常常有多個模型，每個模型都有一個權(quán)重。在這樣的方式下，從模型訓(xùn)練到現(xiàn)場部署，中間需要交互的除了一個配置文件，還需要若干模型文件，造成了文件管理問題，也時常因模型版本問題引發(fā)訓(xùn)練和部署不一致的現(xiàn)象。

現(xiàn)有技術(shù)專利號CN202210061674.7公開了一種基于GPU設(shè)備的模型推理加速方法及系統(tǒng)，該專利技術(shù)方案中，雖然有通過將模型轉(zhuǎn)為onnx的推理加速服務(wù)方法，但實際應(yīng)用中，深度學(xué)習(xí)模型的不少算子會在轉(zhuǎn)為onnx模型的過程中發(fā)生錯誤，導(dǎo)致推理結(jié)果和原模型不一致的情況，為生產(chǎn)的穩(wěn)定性帶來了一些隱患；同時由于固定的推理邏輯，onnx模型在現(xiàn)有的生產(chǎn)環(huán)境下調(diào)度GPU資源也缺乏靈活性。

針對現(xiàn)有技術(shù)中所存在的問題，提供一種GPU資源調(diào)度方法及系統(tǒng)具有重要意義。

發(fā)明內(nèi)容

為解決上述問題，本發(fā)明提供一種GPU資源調(diào)度方法及系統(tǒng)。

為實現(xiàn)上述目的，本發(fā)明的GPU資源調(diào)度方法，具體包括以下步驟：生成配置文件，所述配置文件包括參數(shù)配置及模型權(quán)重系數(shù)；根據(jù)所述配置文件進行初始化；采集圖片及其現(xiàn)場設(shè)定的光學(xué)面信息；對所述圖片及所述光學(xué)面信息進行推理；

進一步地，對所述圖片及所述光學(xué)面信息進行推理具體包括以下子步驟：根據(jù)所述光學(xué)面信息，調(diào)取所述配置文件中相對應(yīng)的所述參數(shù)配置及所述模型權(quán)重系數(shù)，并根據(jù)所述參數(shù)配置及所述模型權(quán)重系數(shù)進行實例化；調(diào)用檢測模型對所述圖片進行推理，得到圖片中缺陷的檢測框信息，并于檢測框位置以固定尺寸裁剪，生成缺陷圖像；調(diào)用分類模型對所述缺陷圖像進行判斷是否屬于某類缺陷，并返回推理結(jié)果；

進一步地，所述調(diào)用檢測模型對所述圖片進行推理具體為：根據(jù)檢測模型自身屬性的模型名，調(diào)取模型對應(yīng)的線程隊列；若所述隊列中有元素，則獲取隊首的元素，并根據(jù)所述元素中提供的索引信息調(diào)取所述模型權(quán)重系數(shù)進行推理，并在推理結(jié)束后釋放資源，將所述元素放回所述隊列的隊尾；若隊列中沒有元素，則阻塞所述推理線程，直至所述推理線程隊列不為空；