[發明專利]一種GPU資源調度方法及系統

在審

• 申請號: 202310085011.3
• 申請日: 2023-02-09
• 公開（公告）號: CN116402672A
• 公開（公告）日: 2023-07-07
• 發明（設計）人: 戴猛;馬元巍;潘正頤;侯大為;童竹勍
• 申請（專利權）人: 常州微億智造科技有限公司
• 主分類號: G06T1/20
• 分類號: G06T1/20;G06F9/50;G06N5/04
• 代理公司: 上海木衛叁知識產權代理事務所(普通合伙) 31507
• 代理人: 廖斌

1.一種GPU資源調度方法，其特征在于，所述方法具體包括以下步驟：

生成配置文件，所述配置文件包括參數配置及模型權重系數；

根據所述配置文件進行初始化；

采集圖片及其現場設定的光學面信息；

對所述圖片及所述光學面信息進行推理。

2.如權利要求1所述的GPU資源調度方法，其特征在于，對所述圖片及所述光學面信息進行推理具體包括以下子步驟：

根據所述光學面信息，調取所述配置文件中相對應的所述參數配置及所述模型權重系數，并根據所述參數配置及所述模型權重系數進行實例化；

調用檢測模型對所述圖片進行推理，得到圖片中缺陷的檢測框信息，并于檢測框位置以固定尺寸裁剪，生成缺陷圖像；

調用分類模型對所述缺陷圖像進行判斷是否屬于某類缺陷，并返回推理結果。

3.如權利要求2所述的GPU資源調度方法，其特征在于，所述調用檢測模型對所述圖片進行推理具體為：根據檢測模型自身屬性的模型名，調取模型對應的線程隊列；

若所述隊列中有元素，則獲取隊首的元素，并根據所述元素中提供的索引信息調取所述模型權重系數進行推理，并在推理結束后釋放資源，將所述元素放回所述隊列的隊尾；

若隊列中沒有元素，則阻塞所述推理線程，直至所述推理線程隊列不為空。

4.如權利要求1所述的GPU資源調度方法，其特征在于，根據所述配置文件進行初始化具體包括以下子步驟：

對所述配置文件中的信息進行初始化得到模型池對象；

根據所述配置文件中的信息得到所述參數配置對應的字典；

用所述模型池對象及所述字典初始化Inference類型對象。

5.如權利要求1所述的GPU資源調度方法，其特征在于，采集圖片及其現場設定的光學面信息具體為：采集圖片及其現場設定的光學面信息，并通過GRPC協議，以多線程的方式發送。

6.一種GPU資源調度系統，其特征在于，包括服務器端，客戶端，GPU，數據采集模塊及線程模塊；

所述GPU及線程模塊設置在所述服務器端中，所述數據采集模塊設置在所述客戶端中；

所述客戶端能夠通過所述數據采集模塊采集圖片及其現場設定的光學面信息，并發送至所述服務器端；

所述服務器端能夠生成配置文件，并根據所述配置文件進行初始化；并通過所述GPU及所述線程模塊對所述圖片及所述光學面信息進行推理。

7.如權利要求6所述的GPU資源調度系統，其特征在于，還包括檢測模型模塊及分類模型模塊，所述檢測模型模塊及分類模型模塊分別設置在所述GPU中，

所述服務器端能夠根據所述光學面信息，調取所述配置文件中相對應的所述參數配置及所述模型權重系數，并根據所述參數配置及所述模型權重系數進行實例化；

所述服務器端還能夠通過所述線程模塊調用所述檢測模型模塊對所述圖片進行推理，得到圖片中缺陷的檢測框信息，并于檢測框位置以固定尺寸裁剪，生成缺陷圖像；通過所述線程模塊調用所述分類模型模塊對所述缺陷圖像進行判斷是否屬于某類缺陷，并輸出推理結果。

8.如權利要求6所述的GPU資源調度系統，其特征在于，所述客戶端具體能夠在采集圖片及其現場設定的光學面信息后，通過GRPC協議，以多線程的方式將所述圖片及所述光學面信息發送至所述服務端。

9.如權利要求6所述的GPU資源調度系統，其特征在于，所述服務器端具體能夠對所述配置文件中的信息進行初始化得到模型池對象，并根據所述配置文件中的信息得到所述參數配置對應的字典，用所述模型池對象及所述字典初始化Inference類型對象。