[發明專利]一種深度學習訓練過程數據轉化為可視化數據方法和系統

在審

• 申請號: 202110691724.5
• 申請日: 2021-06-22
• 公開（公告）號: CN113419727A
• 公開（公告）日: 2021-09-21
• 發明（設計）人: 胡勝健;楊非;王宏升;單海軍
• 申請（專利權）人: 之江實驗室
• 主分類號: G06F8/38
• 分類號: G06F8/38;G06F16/904
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 孫孟輝

本發明涉及深度學習技術領域，具體涉及一種深度學習訓練過程數據轉化為可視化數據方法和系統，該方法包括：步驟一，定義可視化數據類型：基于Protobuf以自定義或編寫的文件名為xxx的Proto文件，生成包含同一文件名的xxx_pb2.py代碼；步驟二，數據轉化：Python端通過調用summary_xxx.py將相應的訓練過程數據轉化為可視化數據，并組裝成Protobuf類型的message對象或者Json字符串，C++端通過調用event_writer_helper組件或者summary_converter.h將獲取的訓練過程數據根據不同的需求進行處理后轉化為可視化數據，并組裝成Protobuf類型的message對象；步驟三，數據生成：將Python端或C++端生成的可視化數據寫入日志文件。本發明極大地方便了模型訓練過程中對于訓練中間結果的數據分析和異常處理，提高了模型訓練的效率。

技術領域

本發明涉及深度學習技術領域，具體涉及一種深度學習訓練過程數據轉化為可視化數據方法和系統。

背景技術

可視化（visualization），是指將一些格式化或者非格式化的數據，利用圖、 表等方式，形象地呈現給用戶的過程。可視化呈現的結果，可以形象地反映出數據的分布、演化、規模大小等特征，在計算機科學的數據處理，數據分析，深度學習等方面有著廣泛的應用。在深度學習訓練過程中，涉及并生成大量的訓練相關數據，通過可視化的方式，可以直觀的將訓練過程的數據分布，深度神經網絡特征，訓練結果評估等信息呈現給深度學習開發者和用戶。在深度學習訓練過程中，數據由深度學習框架生成并管理，為了在一個可視化的前端對這些數據進行展示，我們需要對深度學習框架中產生的數據賦予相應的格式，并進行序列化處理，然后將序列化的數據交給可視化系統的后臺解析，再將相應的數據展示到可視化系統的前端。

發明內容

為了解決現有技術中存在的上述技術問題，本發明提出了一種深度學習訓練過程數據轉化為可視化數據方法和系統，其具體技術方案如下：

一種深度學習訓練過程數據轉化為可視化數據方法，包括如下步驟：

步驟一，定義可視化數據類型：基于Protobuf以自定義或編寫的文件名為xxx的Proto文件， 生成包含同一文件名的xxx_pb2.py代碼；

步驟二，數據轉化：Python端通過調用summary_xxx.py將相應的訓練過程數據轉化為可視化數據，并組裝成Protobuf類型的message對象或者Json字符串，C++端通過調用event_writer_helper組件或者summary_converter.h將獲取的訓練過程數據根據不同的需求進行處理后轉化為可視化數據，并組裝成Protobuf類型的message對象；

步驟三，數據生成：將Python端或C++端處理完成的可視化數據，經過Protobuf的message對象首尾字符串的編碼之后寫入到日志文件。

優選的，所述Proto文件包括：summary.proto、graph.proto、tensor.proto、projector.proto和event.proto。

優選的，所述Python端通過調用summary_xxx.py將相應的訓練過程數據轉化為可視化數據，具體包括：

Python端調用summary_graph.py將從C++端獲取到的計算圖和結構圖轉化為對應的可視化數據；

Python端調用summary_hparams.py將用戶輸入的超參數轉化為對應的可視化數據，并傳到 C++端；

Python端調用summary_projector.py將C++端獲取的訓練過程數據轉化為對應的降維分析和異常檢測可視化數據；

所述C++端通過調用event_writer_helper組件或者summary_converter.h將獲取的訓練過程數據根據不同的需求進行處理后轉化為可視化數據，具體包括：

C++端調用histogram.h將Python端傳來的Tensor轉化為對應的統計分析可視化數據；