[發明專利]基于kubernetes深度神經網絡模型的分布式分類方法

在審

• 申請號: 202110357657.3
• 申請日: 2021-04-01
• 公開（公告）號: CN113076998A
• 公開（公告）日: 2021-07-06
• 發明（設計）人: 袁正午;林才貴
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京同恒源知識產權代理有限公司 11275
• 代理人: 趙榮之

本發明涉及一種基于kubernetes深度神經網絡模型的分布式分類方法，屬于深度學習和云計算領域。S1：獲取數據集，對數據集進行標注，進行標準化處理，數據分為訓練集和測試集；將標準化處理后的訓練集輸入多個不同的深度神經網絡模型進行訓練；輸入測試集獲取對應模型的準確率，根據準確率高低分配權重；S2：模型部署；采用kubernetes容器編排系統，合理部署分類模型。本發明使用容器技術，解決了深度神經網絡模型推理延遲較大的問題，同時利用集成學習的思想，使得模型的推理能力更強。

技術領域

本發明屬于深度學習和云計算領域，設計一種基于kubernetes深度神經網絡模型的分布式分類方法。

背景技術

深度是機器學習的分支，是一種以人工神經網絡為架構，對數據進行表征學習的算法，隨著深度學習的發展，在分類任務中基本上使用深度學習模型。

深度神經網絡模型雖然在分類任務中表現優越，但是隨著深度神經網絡模型的發展，模型的參數量不斷增多，技術資源要求越來越大，實際部署應用較為困難。

深度神經網絡模型對多屬性數據集進行分類時，很少去關注屬性組合，而將特征屬性直接輸入到深度神經網絡訓練模型，再用訓練好的模型進行樣本分類。比如目前十分流行的一些深度神經網絡，由于其參數量大，以及獲取模型難度較高，實際部署模型的效果并不是很理想。

發明內容

有鑒于此，本發明的目的在于提供一種基于kubernetes深度神經網絡模型的分布式分類方法，解決深度神經網絡模型推理延遲較大的問題，同時借鑒集成學習的思想，使得模型的推理能力更強。

為達到上述目的，本發明提供如下技術方案：

一種基于kubernetes深度神經網絡模型的分布式分類方法，包括以下步驟：

S1：模型訓練；

S11：獲取數據集，在這里可以是任一待分類數據集；

S12：對數據集進行標注；

S13：將數據集進行標準化處理，然后分為訓練集和測試集；

S14：將標準化處理后的訓練集分別輸入n個不同的深度神經網絡模型進行訓練，得到模型f₁,f₂,f₃,...,f_n；即使用多個深度學習模型綜合判斷同一份數據集。

S15：輸入測試集獲取對應模型的準確率，根據準確率高低分配權重W₁,W₂,W₃,...,W_n；

S2：模型部署；

在部署之前建立kubernetes集群，master管理多個worker的node，多個pod運行tensorflow serving，pod的部署可以根據具體的資源情況部署；所有的資源通過service建立連接；訓練好的n個深度神經網絡模型部署在tensorflow-serving里面；外部通過api訪問tensorflow-serving，獲取推理結果。

S3：實時數據測試，獲得最終結果，具體包括以下步驟：

S31：獲取實時數據；

S32：將獲取的實時數據進行標準化處理；

S33：將標準化處理過后的數據，通過訪問tensorflow-serving api獲取不同的推理結果；

S34：采用加權投票算法(Weighted voting algorithm)，不同模型對實時數據推理得到的結果進行加權求和得到最終的結果。