[發明專利]深度學習的訓練數據處理方法和裝置

有效

• 申請號: 201811026711.0
• 申請日: 2018-09-04
• 公開（公告）號: CN109241141B
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 夏燕明
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/22;G06N3/04
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本申請實施例公開了深度學習的訓練數據處理方法和裝置。該方法的一具體實施方式包括：獲取針對深度學習的中間訓練數據的可視化展示請求，可視化展示請求包括所請求展示的深度學習訓練作業的目標作業標識；從數據庫中讀取目標作業標識對應的中間訓練數據；根據所讀取的中間訓練數據，生成目標作業標識所指示的深度學習作業的中間訓練數據的可視化圖表。該實施方式實現了對深度學習訓練過程的中間數據進行自動讀取和可視化效果生成，有助于用戶更好地優化和調節深度學習模型。

技術領域

本申請實施例涉及計算機技術領域，具體涉及人工智能領域，尤其涉及深度學習的訓練數據處理方法和裝置。

背景技術

隨著深度學習技術的不斷發展，深度學習被應用在越來越多的領域。由于深度學習本身比較復雜且不易解釋，使用者很難理解訓練的過程，只能通過訓練結果來評價模型的性能。

為了方便使用者理解訓練過程，便于觀測訓練效果，可以將訓練過程的所有數據輸出至日志并以文本的方式進行保存和呈現。而現有的文本日志存儲方式將訓練過程中的所有數據進行保存，不利于對深度學習訓練過程的感知和理解，由此可能增加模型調整的難度和訓練的時間成本。

發明內容

本申請實施例提出了深度學習的訓練數據處理方法和裝置。

第一方面，本申請實施例提供了一種深度學習的訓練數據處理方法，包括：獲取針對深度學習的中間訓練數據的可視化展示請求，可視化展示請求包括所請求展示的深度學習訓練作業的目標作業標識；從數據庫中讀取目標作業標識對應的中間訓練數據；根據所讀取的中間訓練數據，生成目標作業標識所指示的深度學習作業的中間訓練數據的可視化圖表。

在一些實施例中，上述從數據庫中讀取目標作業標識對應的中間訓練數據，包括：從時序數據庫中讀取目標作業標識對應的時序數據；和/或從對象存儲數據庫中讀取目標作業標識對應的非時序數據。

在一些實施例中，上述方法還包括：獲取數據可視化配置信息所指示的深度學習作業的中間訓練數據，并存儲至對應的數據庫中。

在一些實施例中，上述獲取數據可視化配置信息所指示的深度學習作業的中間訓練數據，并存儲至對應的數據庫中，包括：響應于檢測到數據可視化配置信息所指示的深度學習作業的中間訓練數據，獲取對應的深度學習作業的中間訓練數據并解析，得到對應的深度學習作業標識；將獲取的深度學習作業的中間訓練數據作為對應的深度學習作業標識的數據項存儲至對應的數據庫中。

在一些實施例中，上述中間訓練數據包括時序數據；以及上述將獲取的深度學習作業的中間訓練數據作為對應的深度學習作業標識的數據項存儲至對應的數據庫中，包括：將獲取的時序數據存儲至時序數據庫中對應的作業標識的數據表中。

上述中間訓練數據包括非時序數據；以及上述將獲取的深度學習作業的中間訓練數據作為對應的深度學習作業標識的數據項存儲至對應的數據庫中，包括：解析接收到的非時序數據，得到非時序數據的數據標簽；基于深度學習作業標識和數據標簽生成對應的非時序數據的數據索引，將非時序數據添加至對象存儲數據庫中對應數據索引的數據結構中。

第二方面，本申請實施例提供了一種深度學習的訓練數據處理裝置，包括：獲取單元，被配置成獲取針對深度學習的中間訓練數據的可視化展示請求，可視化展示請求包括所請求展示的深度學習訓練作業的目標作業標識；讀取單元，被配置成從數據庫中讀取目標作業標識對應的中間訓練數據；生成單元，被配置成根據所讀取的中間訓練數據，生成目標作業標識所指示的深度學習作業的中間訓練數據的可視化圖表。

在一些實施例中，上述讀取單元進一步被配置成按照如下方式從數據庫中讀取目標作業標識對應的中間訓練數據：從時序數據庫中讀取目標作業標識對應的時序數據；和/或從對象存儲數據庫中讀取目標作業標識對應的非時序數據。

在一些實施例中，上述裝置還包括：存儲單元，被配置成獲取數據可視化配置信息所指示的深度學習作業的中間訓練數據，并存儲至對應的數據庫中。