[發明專利]數據集獲得方法、裝置及電子設備

在審

• 申請號: 202210035840.6
• 申請日: 2022-01-13
• 公開（公告）號: CN114064576A
• 公開（公告）日: 2022-02-18
• 發明（設計）人: 李明
• 申請（專利權）人: 北京九章云極科技有限公司
• 主分類號: G06F16/14
• 分類號: G06F16/14;G06F16/172;G06F16/955;G06N20/00
• 代理公司: 北京銀龍知識產權代理有限公司 11243
• 代理人: 劉倩蘭

本申請提供一種數據集獲得方法、裝置及電子設備，其中，方法包括獲取第一信息，第一信息包括用于指示原始數據集來源的數據源信息，基于數據源信息獲取原始數據集，對原始數據集進行分析，獲得第一分析結果，基于第一信息和第一分析結果，獲得目標數據集，所述目標數據集包括用于描述所述原始數據集的信息。本申請提供的數據集獲得方法可以有效減少接口服務，使得各個微服務獲取信息更高效，從而提高了微服務獲取信息的效率。

技術領域

本申請涉及計算機技術領域，尤其涉及一種數據集獲得方法、裝置及電子設備。

背景技術

在機器學習的訓練過程中，通常需要多個微服務共同協助完成訓練過程。在訓練過程中每個微服務均需使用數據集中的信息。目前，某個微服務獲取數據集中的某個信息，需要通過至少一個業務接口將該信息層層傳遞至該微服務，如下游微服務獲取數據集中的某個信息，需要從上游將該信息一層層傳遞至下游微服務。因此，各個微服務獲取信息的過程較為繁瑣，導致微服務獲取信息的效率較低。

發明內容

本申請實施例提供一種數據集獲得方法、裝置及電子設備，解決了微服務獲取信息的效率較低的問題。

為達到上述目的，第一方面，本申請實施例提供一種數據集獲得方法，包括：

獲取第一信息，所述第一信息包括用于指示原始數據集來源的數據源信息；

基于所述數據源信息獲取原始數據集；

對所述原始數據集進行分析，獲得第一分析結果；

基于所述第一信息和所述第一分析結果，獲得目標數據集，所述目標數據集包括用于描述所述原始數據集的信息。

可選地，所述第一信息包括目標存儲路徑，所述基于所述第一信息和所述第一分析結果，獲得目標數據集，包括：

在所述目標存儲路徑下新建第一存儲空間和第二存儲空間；

將所述第一分析結果存儲于所述第一存儲空間，且將所述第一信息存儲于所述第二存儲空間，獲得所述目標數據集。

可選地，所述對所述原始數據集進行分析，獲得第一分析結果包括：

讀取所述原始數據集，對所述原始數據集進行分析，獲得第一分析結果；

所述將所述第一分析結果存儲于所述第一存儲空間，包括：

若讀取方式為對所述原始數據集采用全量掃描的方式讀取，則將所述第一分析結果存儲于第一子存儲空間，所述第一存儲空間包括所述第一子存儲空間；

若讀取方式為對所述原始數據集采用抽樣掃描的方式讀取，則將所述第一分析結果存儲于第二子存儲空間，所述第一存儲空間包括所述第二子存儲空間。

可選地，所述對所述原始數據集進行分析，獲得第一分析結果，包括：

若所述原始數據集包括結構化數據，則基于所述結構化數據，獲得所述第一分析結果，所述第一分析結果包括所述結構化數據的第一特征信息；

若所述原始數據集包括非結構化數據，則基于所述非結構化數據，獲得第一分析結果，所述第一分析結果包括所述非結構化數據的第二特征信息。

可選地，所述第二特征信息包括標注信息，所述將所述第一分析結果存儲于所述第一存儲空間，包括：

按預設存儲方式將所述標注信息存儲于所述第一存儲空間；

其中，所述預設存儲方式包括以下至少一項：

基于標注信息的標注類別，將標注信息以及對應的數據文件存在于所述標注類別對應的文件目錄中；

基于標注信息以及所述標注信息對應的數據文件名稱，存儲所述標注信息以及對應的數據文件。

可選地，所述第一信息還包括用于指示是否將所述原始數據集分區存儲的分區信息，所述基于所述數據源信息獲取原始數據集之后，所述對所述原始數據集進行分析，獲得第一分析結果之前，所述方法還包括：